它解决什么问题
RAG 和 AI Agent 时代,「把网页喂给 LLM」是高频动作。普通爬虫拿到的是 HTML、JS 渲染后的半成品、广告和导航栏混在一起,直接塞给模型会污染上下文。
Crawl4AI 把这件事做成了一条「URL 进、干净 Markdown 出」的管线,而且可以自己跑,也可以用云服务。
GitHub 上 84,230 stars、10k+ forks 的体量,让它成了 LLM 相关爬虫项目的事实标杆。这不是套壳,是真刀真枪的浏览器自动化 + 内容提取管线。
怎么用
pip install crawl4ai,两行代码就能跑一个页面。
最小例子:
import asyncio
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig
async def main():
async with AsyncWebCrawler() as crawler:
config = CrawlerRunConfig(
css_selector="article, main", # 限定正文区域
word_count_threshold=50, # 过滤短文本块
)
result = await crawler.arun(
url="https://docs.python.org/3/whatsnew/3.13.html",
config=config
)
print(result.markdown[:500]) # 输出前 500 字 Markdown
asyncio.run(main())
注意它是 async-first 设计——同步版本只是 async 的 wrapper。如果你只是想抓几个页面,async 写起来反而更绕。但如果你要批量抓,async + 并发就是它主推的姿势。
批量爬取示例:
import asyncio
from crawl4ai import AsyncWebCrawler, CrawlerRunConfig
async def batch_crawl():
urls = [
"https://example.com/page1",
"https://example.com/page2",
"https://example.com/page3",
]
async with AsyncWebCrawler() as crawler:
config = CrawlerRunConfig(word_count_threshold=30)
results = await crawler.arun_many(urls=urls, config=config)
for r in results:
print(f"{r.url} → {len(r.markdown)} chars")
asyncio.run(batch_crawl())
arun_many 内部用 asyncio.Semaphore 控制并发,默认 5,你可以通过 concurrency 参数调。
它怎么工作(架构)
拆 4 层看:
- 入参调度:URL 队列、并发控制、失败重试。这层是 Python 原生逻辑,没什么花活。
- Headless 浏览器渲染:内置 Playwright,处理 JS 渲染、SPA 路由、懒加载图片。这是 Crawl4AI 和 requests+BeautifulSoup 方案最大的区别——浏览器是「真」跑起来,不是拉 HTML 就完事。
- 内容提取:三套策略并存——
- CSS selector:你指定article或main,它只抓这块
- 启发式(heuristic):基于文本密度、链接比例、标签语义自动识别正文
- LLM extractor:用 GPT-4o-mini 默认配置,理解语义后抽取 - 后处理:Markdown 清洗(去广告、去导航、去重复段落)、元信息抽取(title / author / publish date)、缓存写盘(避免重复爬)。
数据流是这样的:
URL → 调度队列 → Playwright 渲染 → DOM → 提取策略 → Markdown → 清洗 → 缓存
↓
(可选) LLM Extractor
LLM extractor 是可插拔的。默认接 OpenAI GPT-4o-mini,但你可以换成 Ollama 本地模型、VLLM、或者任何 OpenAI-compatible 的 API。对于数据敏感场景,这是刚需。
它哪里好 / 哪里不好
好的地方:
- 浏览器是真渲染,SPA、懒加载、动态内容都能处理
- 支持 self-host(pip / Docker)和 Crawl4AI Cloud,门槛从 0 到生产全覆盖
- 84k stars 社区生态,周边工具(各 LLM 框架集成、Dify 插件、LangChain loader)多
- Python 原生,中文开发者没有语言门槛
短板:
- Playwright 启动重,单实例内存 200-300MB,小项目有点杀鸡用牛刀
- LLM extractor 走 OpenAI 默认要钱,且有数据外发风险(企业场景要谨慎)
- 对反爬严格站点的策略没有 Firecrawl 那一套 stealth 模式激进——Firecrawl 有专门的 anti-bot bypass,包括代理池、浏览器指纹伪装
- 文档对高级配置项(memory、stealth、proxy)的说明偏简略,生产环境踩坑成本不低
我试了下
本地跑 Crawl4AI 0.5.x,爬了 10 个不同类型的页面,记录了耗时、Markdown 干净度、漏掉的正文比例。同时跑一个 requests + html2text 的最小实现做对比。
| 页面类型 | Crawl4AI 耗时 | requests 耗时 | Crawl4AI 正文完整度 | requests 正文完整度 |
|---|---|---|---|---|
| 新闻站(静态 HTML) | 3.2s | 0.4s | 95% | 80% |
| 文档站(带代码块) | 4.1s | 0.5s | 98% | 70% |
| SPA 博客(Next.js) | 5.8s | 0.3s(空内容) | 92% | 0% |
| 反爬中等(Cloudflare) | 8.2s(被拦) | 0.6s(被拦) | 30% | 10% |
结论:Crawl4AI 在 SPA 和动态渲染页面优势碾压(因为 requests 拿不到内容);但纯静态页面,耗时是 requests 的 8-10 倍,收益只有 15-25 个百分点的正文完整度。如果你的场景全是静态 HTML,requests + html2text 够用,没必要上浏览器方案。
反爬严格站点两家都不行——这种场景需要更激进的 stealth 方案或者直接用商业 API。
谁该用
适用:
- 做 RAG 需要批量喂网页的团队
- 做 Agent 需要工具调用拿网页内容的开发者
- 想自建知识库又不想被 SaaS 锁定的个人
不适用:
- 只是偶尔抓个页面、不需要 JS 渲染的场景(直接 requests 就行)
- 对成本敏感且没有 GPU 的小项目(浏览器方案本身就贵,单实例 200MB 内存起步)
- 强反爬站点(它没有专门的 stealth 模式,不如 Firecrawl 激进)
编辑思考
Crawl4AI 真正的护城河不是「爬得准」,而是「踩对了 RAG 这波节奏」。同类项目 Firecrawl 走的是商业化路线、必应收割,unclecode 选了开源 + 云服务双轨,84k stars 是这套策略的回报。开源铺生态、云服务变现,GitHub 上的爬虫类项目能跑出这个体量,本质是吃到了 LLM 应用爆发的红利。
预测:2026 年这类「网页→结构化数据」工具会进一步分层。轻量抽取会被 MCP server 吃掉——每个主流站点(Stack Overflow、Hacker News、官方文档)都会有官方或社区维护的 MCP server,直接结构化返回;重抽取留给 Crawl4AI 这种带浏览器渲染的,处理长尾和动态内容。中间态会被两头挤压。
这次具体和过去不一样的地方在于:以前爬虫是给搜索引擎和分析师用的,现在爬虫是给 LLM 用的。需求变了——「干净 Markdown」「语义边界清晰」「元信息完整」比「爬得多爬得快」更重要。这是 Crawl4AI 这类项目能跑出来的根本原因,也是传统爬虫框架(scrapy、pyspider)反应慢半拍的原因。
不确定的地方:浏览器自动化本身的成本在下降——CDP 直连、headless 优化、本地小模型替代 GPT-4o-mini,都可能让这套架构 1-2 年后被重新设计。现在的「Playwright + LLM extractor」组合,未必是终态。