ScrapeGraphAI：用 LLM 与图管线做网页抓取的开源 Python 库

工具定位

ScrapeGraphAI 是一个网页抓取用的 Python 库，其做法是把 LLM 与图（graph）逻辑组合成抓取管线：用户描述想抽取的信息，库据此对网页或本地文档执行抓取与提取。可处理的本地文档格式包括 XML、HTML、JSON、Markdown 等。

预置管线

原文列出了多种标准管线，各有用途方向：

• SmartScraperGraph：只需用户提示与一个来源地址，从单页提取信息。
• SearchGraph：从搜索引擎前 n 条结果中跨多页提取信息。
• SpeechGraph：从单页提取信息并生成音频文件。
• ScriptCreatorGraph：从单页提取信息并生成 Python 脚本。
• SmartScraperMultiGraph：给定一个提示和多份来源，执行多页抓取。
• ScriptCreatorMultiGraph：为多页、多来源的提取任务生成 Python 脚本。

每种图都有对应的多版本，可并行调用 LLM。

安装与使用要点

安装命令为 pip install scrapegraphai；若需抓取网站内容，还需执行 playwright install。原文建议在虚拟环境中安装以避免库冲突。

使用示例以 SmartScraperGraph 为主：构造包含 llm、verbose、headless 等项的配置字典，实例化时传入 prompt、source 与 config，再调用 run() 得到字典结果。示例中本地模型配置使用 ollama/llama3.2；换用 OpenAI 等模型只需修改 llm 配置，例如填入 API key 与 openai/gpt-4o-mini。原文给出的输出示例包含公司描述、创始人列表与社交媒体链接等字段。

模型支持

可通过 API 使用 OpenAI、Groq、Azure、Gemini、MiniMax 等模型，也可用 Ollama 运行本地模型；使用本地模型需先安装 Ollama 并用 ollama pull 下载模型。

开源库与托管 API 的区别

原文明确区分两种形态：开源库由用户自行运行，运行位置在自有基础设施，LLM 自带，浏览器/JS 渲染需自行配置 Playwright，代理与反爬、扩展与维护也由用户负责，成本为 LLM token 加自有基础设施。托管 API 通过 Python 与 JS/TS SDK 调用，运行在 ScrapeGraphAI 云端，LLM、浏览器渲染、代理与反爬由服务方管理，采用按量计费的 credits 模式，鉴权使用 SGAI_API_KEY。两者能力集不同：开源侧是各类图管线，托管侧包括 Scrape、Extract、Search、Crawl、Monitor、History。开源库为 MIT 许可，SDK 亦为 MIT，API 服务为付费。

其他说明

库会收集匿名使用指标，可通过将环境变量 SCRAPEGRAPHAI_TELEMETRY_ENABLED 设为 false 退出。原文声明该库仅用于数据探索与研究目的。