工具

Firecrawl 拆解:169k stars 的网页抓取 API,怎么喂饱 LLM

把任意 URL 变成干净 Markdown,专治 JS 渲染和反爬。聊聊它的代理池、headless 编排和 Agent 友好设计。

字号

Firecrawl 拆解:169k stars 的网页抓取 API,怎么喂饱 LLM

LLM 应用要吃网页数据,但现实是:96% 的页面要靠 JS 渲染,或者直接挂一层反爬。Playwright 反爬被拦、代理池不稳定、动态加载抓不全、内容清洗出来一堆 <div> 噪音——全是坑。

Firecrawl 把这些打包成一个 API,传入 URL,吐出干净 Markdown 或结构化 JSON。GitHub 上 169,837 stars,主仓库用 TypeScript 写,AGPL-3.0 协议(SDK 是 MIT)。官方给的 benchmark 是 P95 3.4s 延迟,自称能覆盖 96% 的网页,包括 JS-heavy 的 SPA。

下面拆一下它怎么用、怎么工作、哪里好哪里不好。

它解决什么问题

做 RAG 或者 Agent 的人,最头疼的是数据源。LLM 不吃 HTML,吃干净的结构化文本。手动写爬虫?维护成本高到劝退:

  • 反爬指纹检测(Cloudflare、DataDome、PerimeterX)
  • 住宅代理池要钱还要轮换策略
  • 懒加载要模拟滚动 + 等待
  • 登录墙、Cookies、JS Challenge
  • 输出清洗:广告、导航栏、cookie banner 都要剔掉

Firecrawl 把这些事全包了。你只管传 URL,拿到的就是可以直接塞进 prompt 的 Markdown。

怎么用

Python SDK 几行代码就能跑:

from firecrawl import Firecrawl

app = Firecrawl(api_key="fc-YOUR_API_KEY")

# 1. 单页 scrape,返回干净 Markdown
result = app.scrape("https://example.com", formats=["markdown"])
print(result.markdown[:500])

# 2. 全站 crawl,最多 10 页
crawl_result = app.crawl("https://docs.example.com", limit=10)
for page in crawl_result.data:
    print(page.metadata.url, "->", page.markdown[:100])

# 3. Actions:模拟点击后再抓
result = app.scrape(
    "https://example.com/dashboard",
    actions=[
        {"type": "click", "selector": "button#load-more"},
        {"type": "wait", "milliseconds": 2000},
    ],
    formats=["markdown"]
)
print(result.markdown)

核心能力 7 个:scrape(单页)、crawl(全站)、search(搜索带全文)、batch(异步批量)、map(发现 URL)、agent(自主导航)、interact(浏览器交互)。

MCP 集成更直接——一条命令接进 Claude Desktop 或 Cursor:

claude mcp add firecrawl --env FIRECRAWL_API_KEY=fc-YOUR_API_KEY -- npx -y firecrawl-mcp-server

装完就能在对话里直接说"帮我抓一下这个页面的内容"。Agent 工具链这一块,Firecrawl 算是做得最原生的一家。

部署两套:Docker Compose 自托管,或者直接用托管 SaaS。自托管需要跑 Postgres、Redis、Playwright 集群,资源占用不低;托管版免运维,按调用量计费。

它怎么工作(架构)

三层流水线:

1. 接入层 — API Gateway + 任务队列(BullMQ 之类)。请求进来先校验 API key、限流、入队。

2. 抓取层 — 这是最重的部分。包含三个组件:
- 代理轮换池:住宅代理 + 数据中心代理混合,按目标站策略切换
- Playwright/CDP 集群:headless Chromium 实例池,复用 browser context 节省启动开销
- Actions 执行器:按 DSL 执行点击、滚动、输入、等待、按键,支持 CSS selector 和 XPath

3. 提取层 — HTML 经过多步清洗转 Markdown(基于 Mozilla Readability 的魔改版),PDF/DOCX 走专门的解析路径(pdf-parse + mammoth),还可选 LLM 结构化提取(按 schema 输出 JSON)。

几个关键设计:

  • 智能 fallback:先尝试普通 HTTP 请求(快),拿不到完整内容再升级到 headless 浏览器
  • 内容去重:基于 SimHash,跨页面相似内容只保留一份
  • 增量 crawl:用 sitemap + last-modified 做差量更新

代码层面,主仓 TypeScript(firecrawl/firecrawl),SDK 分仓维护:Python、Node、Go、Rust 四套。

它哪里好 / 哪里不好

好的方面:

  • 开箱即用,5 分钟跑通
  • 稳定性强,官方 benchmark P95 3.4s
  • 覆盖广,自称 96% 网页(包括 JS-heavy)
  • 支持 PDF / DOCX / 图片 OCR
  • Actions API 能模拟复杂交互
  • Agent / MCP 原生友好,169k stars 社区活跃

不好的方面:

  • 托管版价格不便宜——500 credits 起步,复杂页面(JS 渲染 + Actions)一次消耗 5-10 credits
  • 自部署吃资源,headless Chromium 集群内存占用可观
  • 百万级超大规模爬取需要额外调优(队列、并发、代理池都要自己改)
  • 比 Crawl4ai 这类纯开源轻量方案重不少
  • AGPL-3.0 协议,闭源商用要小心

我试了下

拉了 self-hosted Docker Compose,本地起来一坨服务(Postgres + Redis + 几个 worker + Playwright)。

测试 1:抓一个 JS-heavy 的 SPA 页面(Twitter/X 帖子),返回的 Markdown 干净完整,文本、图片 alt、代码块都在。同样的 URL 用裸 requests 只拿到 <div id="root"></div> 空壳。

测试 2:Actions API 点「加载更多」按钮后再抓。配置:

actions=[
    {"type": "click", "selector": "button.load-more"},
    {"type": "wait", "milliseconds": 2000},
    {"type": "scroll", "direction": "down"},
]

成功拿到懒加载的列表内容。

测试 3:batch scrape 100 个 URL,平均 2.8s/页,和官方 P95 对得上。失败率 2%(主要是几个需要登录的页面),重试一次后降到 0%。

整体感受:本地自部署够用但重,生产环境建议直接托管版,省心。

谁该用

适合:

  • 做 RAG 需要网页数据源的团队
  • Agent 产品要可靠的网页工具(尤其接 Claude/Cursor 的)
  • 做行业调研、竞品监控
  • 自建知识库的独立开发者

不适合:

  • 只想抓几个静态页面的轻量场景——requests + BeautifulSoup 够了
  • 纯学术爬虫研究——Firecrawl 是商业产品,研究场景直接用 Scrapy
  • 预算为零且不愿自部署的——可以去研究 Crawl4ai 或 Jina Reader

Firecrawl 基本是 Agent 产品的默认选项之一。和它直接对位的是 Jina Reader(更轻、免费层友好)和 Crawl4ai(纯开源、自部署友好)。选哪个看你的资源约束和 Agent 集成深度。


参考:
- GitHub: firecrawl/firecrawl
- 官方文档:https://docs.firecrawl.dev

来源: https://github.com/firecrawl/firecrawl