fastCRW：给 AI agent 用的一体化网页数据 API
us/crw 是一个 Rust 写的开源网页数据引擎，把 search、scrape、map、crawl、extract、monitor、Firecrawl 兼容 API、SDK 和 MCP server 放在同一套服务里，适合想把网页内容稳定交给 agent 的团队评估。
web-scraping
共 5 篇文章
Firecrawl：97k⭐的网页数据 API，让任意网站变成 LLM 可用的结构化数据
将整站网页转换为 Markdown 或结构化数据，专为 AI 应用设计的爬虫 API
hq：118⭐的轻量级 HTML 命令行处理器
一个受 jq 启发的 HTML 处理工具，用 CSS 选择器提取网页数据，支持 data、text、attr 三种模式
WebSift - 轻量级网站信息抓取工具，快速提取邮箱、电话和社交链接
介绍 WebSift，一个 487 stars 的开源 OSINT 工具，用纯 Bash 脚本实现网站邮箱、电话号码和社交媒体链接的批量提取。
Scrapling：自适应 Web 爬虫框架，轻松绕过反爬机制
一个能自动学习网站变化的 Python 爬虫框架，内置 Cloudflare 绕过、代理轮换、断点续爬等功能