Crawl4AI：面向 LLM 与 AI 智能体的开源网页爬取工具

工具定位

Crawl4AI 是 Apache 2.0 许可的开源网页爬虫与抓取工具，目标是把任意网站转成干净、可供 LLM 使用的 Markdown，应用于 RAG、AI 智能体和数据流程。它提供两种使用路径：自行运行开源库或以 Docker 自托管，或使用其托管云服务。

开源库与自托管能力

• Markdown 生成：输出含标题、列表、表格和代码块的结构化 Markdown，并可将页面链接整理为编号引用列表；提供内容过滤器（如 PruningContentFilterLXML、BM25ContentFilter、LLMContentFilter）去除菜单、页脚等模板内容。
• 结构化抽取：支持基于 CSS、XPath 和正则的免 LLM 抽取策略，也支持通过 LLMExtractionStrategy 调用 LLM 将结果抽为带类型的 JSON；另有模式生成器和面向长页面的分块、余弦相似度匹配。
• 浏览器控制：可持久化浏览器配置（登录、cookies）、经 CDP 连接远程浏览器、维持会话、使用带认证和轮换的代理、启用隐身模式；支持 Chromium、Firefox、WebKit。
• 爬取方式：支持 BFS、DFS、最佳优先等深度爬取，可恢复中断状态；AsyncUrlSeeder 与 DomainMapper 用于 URL 发现；可执行 JavaScript、等待元素、整页滚动；支持截图、PDF、媒体与链接元数据、原始 HTML 与本地文件；并提供缓存和 arun_many 批量抓取。
• 自托管 Docker：每个端点需要 CRAWL4AI_API_TOKEN；提供 REST 接口、MCP 连接、监控面板和演练场。

本地安装要点

使用 pip 安装后，需运行 crawl4ai-setup 配置浏览器，可用 crawl4ai-doctor 检查；若浏览器配置失败，原文给出的手动方案是 python -m playwright install --with-deps chromium。命令行工具名为 crwl。

云服务差异

托管云提供 /scrape、/extract、/search、/serp（标注为 Beta）、/answer（标注为实验性）等接口，并声明自动处理 JavaScript 重的页面和反爬拦截，且无需用户自备 LLM 密钥即可抽取。原文称免费额度为每月 1,000 积分、每分钟 10 次、同时 2 个任务；付费为每分钟 120 次、同时 10 个任务，起价每月 10 美元。这些是云平台条件，不适用于自托管的开源库。

信息边界

原文未提供具体性能基准、抽取准确率或各站点实测结果；云服务定价应以其文档为准。本文内容依据项目 README 转述，部分特性细节需查阅其官方文档确认。