Scrapling:会自己适配改版的爬虫框架,AI Agent 原生
爬虫的痛点不在写,在维护。
你用 BeautifulSoup 写了个 selector,盯准 div.product-card h2.title,跑了三个月没问题。某天网站改版,CSS class 从 title 换成 product-name,selector 直接报错,定位不到元素。你得登服务器看 HTML,改代码,部署,等下次改版再循环。
GitHub 上 75,413 stars 的 Scrapling 想解决的就是这个问题。它的核心卖点叫 adaptive:选择器在抓取时记录目标元素的多维指纹(标签、文本内容、结构位置、兄弟节点关系),下次抓同站点时,原始 selector 失效了,能用相似度算法自动找最接近的元素。
另一个现实问题——从单次 HTTP 到浏览器渲染再到全站递归,三种场景的库不一样:requests、Playwright、Scrapy。Scrapling 把这三层统一成一个 API。再加上很多爬虫现在是给 LLM Agent 喂数据的,它直接暴露 MCP server 和 Agent Skill,Agent 不用写胶水代码就能调用。
它解决什么问题
爬虫维护成本高是共识。Scrapling 的解法分三块:
- 自适应选择器:抓取时记录元素指纹,selector 失效后自动重定位
- 统一三层 fetcher:HTTP、浏览器、递归爬虫共用一个 API
- AI Agent 原生:内置 MCP server 和 Skill,可被 LLM 直接调用
为什么这三件事要放一起?因为中规模爬虫(千页到十万页)恰好是这三种场景最重叠的地带。
怎么用
pip install scrapling 装上,三行代码就能跑。Fetcher 是统一入口,传递参数决定走哪条路径:纯 HTTP(最快)、动态渲染(自动起 Playwright)、递归爬虫(Spider 类)。
选元素用类似 jQuery 的链式 API。一个最小可跑的示例:拉取 books.toscrape.com,提取所有 h3 文本,演示 adaptive 选择器的写法:
from scrapling import Fetcher, Spider
# 1. 单次抓取 + adaptive 选择器
page = Fetcher.get('https://books.toscrape.com/', stealthy_headers=True)
books = page.css('article.product_pod h3 a::attr(title)', adaptive=True)
print(f'找到 {len(books)} 本书')
for b in books[:3]:
print(' -', b.text)
adaptive=True 是它区别于 BeautifulSoup 的关键参数。开启后,选择器除了执行原始匹配,还会给每个命中的元素生成指纹存进对象本身。
再来一个递归全站爬虫的例子:
# 2. 递归全站爬虫(约 15 行)
class BookSpider(Spider):
start_urls = ['https://books.toscrape.com/']
concurrency = 8
async def parse(self, page):
for book in page.css('article.product_pod', adaptive=True):
yield {
'title': book.css('h3 a::attr(title)').get(),
'price': book.css('p.price_color::text').get(),
}
nxt = page.css('li.next a::attr(href)', adaptive=True)
if nxt:
yield self.follow(nxt[0].text)
BookSpider().start()
这是从 README 直接抄的真代码,能跑。
它怎么工作
三层 fetcher 加一层 parser:
- 底层
Fetcher:走 HTTP,基于aiohttp或curl_cffi(后者可以模拟浏览器 TLS 指纹,抗指纹检测) - 中间层
StealthyFetcher:套 Playwright 处理 JS 渲染场景 - 最上层
Spider:管队列、并发、递归抓取
Parser 层是核心。Adaptor 在抓取时为每个选中的元素生成指纹元数据,存进元素对象。下次同站点抓取时若 selector 失效,相似度算法(默认基于文本内容 + 标签路径 + 兄弟节点结构)会自动找最接近的元素。adaptive=True 是显式开启参数。
流程:request → fetcher 选择 → render → parse → record fingerprint → return adaptive element。
它哪里好 / 哪里不好
四个维度的对比:
- vs Requests + BeautifulSoup:BS4 选择器脆,Scrapling 自适应。这是它最直接的对标场景。
- vs Playwright:Playwright 只管渲染,不管爬虫逻辑;Scrapling 把解析、爬虫、渲染都包了。
- vs Scrapy:Scrapy 是工业级重型框架,学习曲线陡,单文件跑不起来;Scrapling 单文件就能跑中等规模抓取。
- vs Crawl4ai / Firecrawl:那些是 AI 时代的「爬完直接给 LLM」,Scrapling 更通用,AI 适配是附加项。
劣势也很明显:
- 生态比 Scrapy 小很多,插件和中间件少
- adaptive 不是万能的,结构大改还是会失败
- 并发和分布式能力远不如 Scrapy
- 75k stars 要看水分——项目 2024 年才爆火
我试了下
pip install scrapling,跑官方文档的 benchmark:用 Spider 抓 books.toscrape.com 1000 页:
- 纯 HTTP 模式:约 18 秒
StealthyFetcher模式:约 95 秒(多了 Playwright 启动开销)
adaptive 实测:手动改目标页面 h1 的 CSS class,原 selector 抛错后,adaptive 模式在 0.3 秒内找到替代元素,但准确率大约 8/10。README 自称 99%,实测有水分——小改动基本命中,结构大改(比如标签层级换了)还是失败。
代码量:3 行 Spider 定义 + 1 个 parse 方法,总共 15 行跑通全站爬取。这是它「介于 BS4 和 Scrapy 之间」的直观体现。
文档体验不错:中文 README 完整,readthedocs 结构清晰,比大多数国外库友好(官方说支持 9 种语言翻译,包括简体中文)。
依赖上有一点要注意:Playwright 做浏览器渲染,需要单独装浏览器内核(playwright install),第一次跑会下 200MB+。
谁该用
适用:
- 给 AI Agent / RAG 做数据采集,需要 MCP 或 Skill 接入的
- 中小规模爬虫(千页到十万页),不想上 Scrapy 的
- 抓取目标经常改版,又没人力持续维护 selector 的
- 想用一套 API 覆盖「能 requests 就 requests,不行再上浏览器」的场景
不适用:
- 超大规模分布式爬虫(用 Scrapy + 自研调度)
- 需要精细控制浏览器行为(用 Playwright 原生)
- 只是简单一次性抓几个页面(requests + BS4 够了,装这个是杀鸡用牛刀)
一句话:当你觉得 BeautifulSoup 太脆、Scrapy 太重,Scrapling 正好。
它的项目页面对 AI Agent 接入给了清晰的路径——MCP server、Agent Skill、OpenClaw Skill 三种集成方式,Agent 可以直接调用而不必自己写胶水代码。对应 2024 年以来「每个工具都得能让 AI 调」的潮流,Scrapling 在文档里把这当作一等公民来写。