Crawl4AI:GitHub 53K+ Stars,专为LLM优化的开源爬虫,把整个互联网变成RAG就绪的Markdown
Crawl4AI:GitHub 53K+ Stars,专为LLM优化的开源爬虫,把整个互联网变成RAG就绪的Markdown

Crawl4AI:GitHub 53K+ Stars,专为LLM优化的开源爬虫,把整个互联网变成RAG就绪的Markdown最新版

官方版无广告566

Crawl4AI 是专为 LLM 与 Agent 设计的开源爬虫:网页转干净 Markdown 或按字段抽成 JSON,星标 8.7 万。三种形态同源:Python 库、Docker 自托管、官方云 API。

更新日期:
2026年8月6日
语言:
中文
平台:
没限制

0 人已下载 手机查看

Crawl4AI:GitHub 53K+ Stars,专为LLM优化的开源爬虫,把整个互联网变成RAG就绪的Markdown

图:Crawl4AI 的 GitHub 仓库首页,现行版本 v0.9.5(2026-11 截图)

定位与基本信息

Crawl4AI 是一个专为 LLM 与 AI Agent 设计的开源网页爬虫。它和传统爬虫的区别在输出:抓回来的不是原始 HTML,而是清洗好的、带标题层级、表格与代码块的 Markdown,可以直接喂给模型;也能按你给的字段结构(Schema)把页面抽成结构化 JSON。做 RAG 数据管线时,最耗时的清洗环节就是它要替你省掉的。

  • 仓库:github.com/unclecode/crawl4ai,语言 Python,许可 Apache-2.0
  • 热度:星标 87,208、Fork 9,087(2026-11-11 快照;本站旧稿写的 53K 已严重过期)
  • 版本:最新版 v0.9.5(2026-10-14 发布),仓库 2026-11-10 仍有推送
  • 形态:同源三种——Python 库、Docker 自托管服务、官方云 API(Crawl4AI Cloud)

平台背景

作者 unclecode 在 README 里留了一段自述:他研究生阶段专攻 NLP、为学术研究写爬虫;2023 年他需要一个「网页转 Markdown」的工具,当时市场上的「开源」方案要求注册账号、拿 API Token、还要付 16 美元,效果还不好用。他几天之内写出了 Crawl4AI 并开源,项目迅速走红。他把开源的理由归结为 availability(任何人无门槛可用),如今做云平台是为了 affordability(让任何人跑大规模抓取也不破产)。

项目此后沿两条线生长。开源线持续迭代:2024 年 5 月建仓,版本推进到 0.9.x,文档站 docs.crawl4ai.com 完整维护。商业线则上线了托管的 Crawl4AI Cloud:仓库简介与 README 顶部现在都先讲云服务——一个 Key 通吃抓取、抽取与搜索接口,浏览器与代理由官方跑。理解这个项目,要把「免费开源库」和「付费云 API」分开看:内核同源,账单与数据流向完全不同。

核心服务与功能

  • LLM 就绪的 Markdown 输出:异步浏览器池渲染页面后生成结构化 Markdown,保留标题、表格、代码与引用信息,抓回来就能进知识库。
  • 结构化抽取:用自定义 Schema 加 LLM 把页面抽成 JSON 字段;自托管时用自己的模型 Key,云版的 /extract 则不需要自备 Key。
  • 批量与深爬控制:会话、代理、Cookie、用户脚本与钩子都可配置,适合需要登录态或复杂交互的抓取;云版单次流式调用最多 50 个 URL,后台任务可排到 10,000 个。
  • 自托管服务:Docker 部署后提供 /md、/html、/crawl、/screenshot、/pdf、/execute_js 等 REST 接口,所有端点默认要求自备 Token 鉴权;也能作为 MCP 服务接入 Claude Code 等 Agent。
  • 云版独占能力:/search 网页搜索、/serp 搜索结果页数据(Beta)、/answer 直接问答(实验性),外加托管代理与反爬处理,省掉自建代理池。
  • 命令行入口:装好后可用 crwl 命令直接抓单页输出 Markdown,不写代码也能先试效果。

还有一个细节值得单独提:它对「引用」有专门处理,生成的 Markdown 会保留链接与来源线索,做带出处问答的 RAG 时不用再自己回捞原文地址;抓取策略也可以从单页、整站深爬到监控型定时任务分级配置,同一套代码能从脚本一路长到服务。云版则把这些能力包装成搜索与问答接口,/serp 返回的是带真实排名的搜索结果页数据,对做 SEO 监测与竞品追踪的人是现成的原料。

Crawl4AI:GitHub 53K+ Stars,专为LLM优化的开源爬虫,把整个互联网变成RAG就绪的Markdown

图:Crawl4AI 官方文档站,自托管与云 API 的接入说明都在这里(2026-11 截图)

使用方式

  • 当库用:pip install -U crawl4ai 后,用 AsyncWebCrawler 异步上下文几行代码即可抓页;首次运行要按文档完成浏览器内核安装。
  • 自托管:拉官方 Docker 镜像起服务,设置 CRAWL4AI_API_TOKEN,再用 REST 接口或 MCP 调用,抓取规模与数据都留在自己机器上。
  • 用云版:在 crawl4ai.com 注册拿免费 Key,设为环境变量 CRAWL4AI_KEY,调 api.crawl4ai.com 的 /scrape、/extract 等接口;在 Claude Code 里也可以直接挂它的托管 MCP 服务。
  • 选型顺序:量小怕麻烦,先用云版免费额度验证效果;量大或数据敏感,迁自托管;只做管线里的一环清洗,用库嵌入自己的代码。

判断它是否适合你的项目,有一个简单的试法:先拿自己管线里最难啃的十个页面——带表格的文档页、JS 渲染的列表页、分页的资讯页各挑几个——用 crwl 命令或云版免费额度各跑一遍,看 Markdown 的结构保留程度与抽取字段的准确率。十个页面里能有八个直接可用,这个工具就值得进管线;反之,多半是目标站本身的反爬问题,换工具也解决不了。

适用人群

  • 做 RAG 知识库、需要批量把文档站与网页转成 Markdown 的工程师;
  • 给 Agent 补「读网页」能力的开发者,尤其是经 MCP 接入的用法;
  • 做数据采集、竞品监控,需要按字段结构化抽取的团队。
  • 不适合零代码用户:全程 Python、Docker 与接口调用;也不适合把抓强登录、强反爬站点当主要场景的人,那部分成本不在工具本身。

免费与付费

开源库与自托管按 Apache-2.0 免费,成本只有自己的服务器、代理,以及抽取时用的 LLM Key。云版是另一套账(2026-11 快照):注册送每月 1,000 credits、不需要绑卡;付费为按量计费,套餐 10 美元起(仓库 README 对照表口径)。各接口具体消耗多少 credits,以 crawl4ai.com 定价页当期公示为准。

Crawl4AI:GitHub 53K+ Stars,专为LLM优化的开源爬虫,把整个互联网变成RAG就绪的Markdown

图:Crawl4AI Cloud 定价页,云版按 credits 计量、套餐 10 美元起(2026-11 截图)

优点与缺点

优点

  • 输出就是给 LLM 准备的:Markdown 结构干净,省掉自写清洗层,这是它与传统爬虫框架最本质的区别。
  • 三种形态同源:先云版验证、再迁自托管,概念与接口基本一致,迁移不用重学。
  • 开源侧没有阉割:批量、MCP、自托管鉴权这些生产能力都在免费版里,不用为了某个功能被迫上云。
  • 社区与文档在线:8.7 万星标,2026 年 11 月仍在推送,官方文档站把库、Docker、云 API 三条线都写全了。

缺点

  • 抓取成功率不由它决定:目标站的反爬、登录墙、地区限制要靠代理与配置去碰,成本另算且不可控。
  • 自托管有运维活:无头浏览器跑批量很吃内存,浏览器内核、任务队列与失败重试都要自己盯。
  • LLM 抽取是第二份账单:自托管时模型 Key 自备,抓得越多、抽得越细,费用涨得越明显。
  • 云版口径有变动空间:credits 计价细则与免费额度以官网为准、可能调整;数据要经过第三方服务器,敏感页面不适合走云。

同类竞品对比

对比项 Crawl4AI(本条) Agent-Reach OpenCLI
定位 网页转 Markdown/JSON 的抓取与抽取引擎 给 Agent 的联网检索与多平台接入工具 命令行形态的浏览器操作工具
形态 Python 库 / Docker 服务 / 云 API 面向 Agent 的工具集 CLI 命令行
强项 批量抓取、结构化抽取、RAG 数据管线 让 Agent 快速获得上网与检索能力 在终端里驱动浏览器完成点击类操作
适合 要自建数据管线的工程师 要给 Agent 补联网能力的人 偏好命令行的自动化玩家

三者处在不同层:Crawl4AI 是管线里的抓取引擎,Agent-Reach 与 OpenCLI 更靠近 Agent 的手脚,实际项目里经常是组合使用而非二选一。

注意事项与风险

  • 合规先行:遵守目标站点的服务条款与 robots 约定,不抓登录后与付费墙内容,不采集个人信息;商用采集先过法务这一关。
  • 别硬闯强反爬站点:轮换代理、指纹对抗这类打法可能触发封禁甚至法律风险,成本也会迅速失控。
  • 自托管别裸奔:服务能执行 JS、能截图,权限不小;务必设强 Token,不要无鉴权暴露在公网。
  • 锁版本:0.9.x 阶段接口仍在演进,生产管线固定版本号并留意更新日志,云版同理先小流量验证再放量。

相关软件

暂无评论

none
暂无评论...