Crawl4AI 网页抓取工具

Crawl4AI 是面向 LLM 与 AI 智能体的开源网页爬虫与抓取器，主要用于把网页内容转换为适合 LLM 处理的 Markdown。

能做什么

• 生成干净 Markdown：保留标题、列表、表格、代码块等结构，并可过滤菜单、页脚等样板内容。
• 结构化抽取：支持基于 CSS、XPath、正则表达式的抽取，也支持通过 LLM 按 JSON schema 抽取；还提供 schema 生成能力。
• 浏览器控制：支持持久化浏览器配置、会话、代理、请求头与 Cookie 设置，支持 Chromium、Firefox、WebKit，并提供远程浏览器连接与隐身模式选项。
• 爬取能力：支持 BFS、DFS、最佳优先的深度爬取，URL 发现，动态页面 JS 执行与滚动，截图与 PDF，缓存与并发抓取，以及在爬取各阶段挂接 hook。
• 自托管与接口：提供 Docker 服务器、REST API、命令行工具 crwl，并可通过 MCP 连接 AI 智能体。
• 云端服务：说明中列出云端提供 scrape、extract、search、serp、answer 等接口以及 MCP 接入方式。

适用场景

• 为 RAG、AI 智能体和数据管道准备网页内容。
• 从网页抽取结构化 JSON 数据。
• 需要自定义浏览器会话、代理或动态页面处理的抓取任务。

使用条件与限制

• 本地使用时需要 Python 环境，并通过 pip 安装后运行 crawl4ai-setup 安装浏览器。
• Docker 自托管需要设置 CRAWL4AI_API_TOKEN。
• 使用 LLM 抽取时需要自行提供相应 LLM 服务商与密钥；云端接口则按说明使用密钥调用。
• 云端服务的具体额度与定价以官方实时说明为准，本条目不据此作保证。