fastCRW：AI agent 向けの一体型 Web data API
us/crw は Rust 製のオープンソース Web data engine です。search、scrape、map、crawl、extract、monitor、Firecrawl 互換 API、SDK、MCP server を同じサービスにまとめ、Web content を agent に安定して渡したいチームが評価しやすい形にしています。
web-scraping
全 5 篇の記事
Firecrawl：97k⭐のWebデータAPI、任意のWebサイトをLLM対応の構造化データに変換
サイト全体をMarkdownまたは構造化データに変換、AIアプリケーション向けに設計されたクローラーAPI
hq：118⭐の軽量HTMLコマンドラインプロセッサ
jqにインスパイアされたHTML処理ツール。CSSセレクタでWebデータを抽出し、data、text、attrの3つのモードをサポート
WebSift - メールやSNSリンクを抽出できる軽量OSINTツール
487 starsのオープンソースOSINTツール「WebSift」を紹介。純粋なBashスクリプトで実装され、Webサイトからメールアドレス、電話番号、SNSリンクを簡単に収集できる。
Scrapling：アダプティブWebスクレイピングフレームワーク
ウェブサイトの変更を自動学習するPythonスクレイピングフレームワーク、Cloudflare回避とプロキシローテーション内蔵