昨天看到 experientiallabs/experiential 在 Hacker News 上了首页,标题写着"open OpenRouter"。第一反应:又一个 OpenRouter 的开源克隆,省个 5% 抽成,能有啥看头?
点进去读了 README,发现真正有意思的不是延迟数字,是这个项目自己维护自己——一个 Codex Agent 每天自动爬 provider API、检查新增模型、给仓库开 PR 更新模型目录。开发者只需要 review,不需要手动维护 1000+ 模型的元数据。
这件事比省 latency 有意思得多。
这不是又一个 OpenRouter 替代品
OpenRouter 解决的是"找模型、调 key、付费"。Experiential 想做的是同一件事,但额外塞了一个 agent 进去——让它当仓库的维护工。
这层意思很多人会忽略。光看"BYOK <1ms"这种性能数字,你会以为它跟 LiteLLM、Portkey、OpenRouter 是同一类东西在卷性能曲线。但项目方在 HN 原帖里反复强调的不是 latency,是"self-updating model registry"。
HN 上有人问"这不就是另一个 LiteLLM 吗",项目方回答大意是:LiteLLM 的模型列表需要你手动加,他们用 agent 自动加,每天跑一次,每次开 PR。
这就是区别。性能数字只是入场券,差异化在"infra 会自己改自己"这件事上。
延迟数字怎么做到的
BYOK 请求的额外开销 <1ms,走官方 key <2ms。这是项目方在 HN 原帖自述的数字,README 里也有。
怎么做到的?两个关键点:
- Rust 原生,没用 Python wrapper。Python 走 ASGI / WSGI 那一套,光是进程内序列化 + 异步调度就 5-20ms。Rust 直接 tokio + hyper,请求进来基本就是路由匹配 + header 透传。
- 请求体基本不解析。网关只检查认证、模型名、目标 endpoint,然后就转发给 provider。没有重试逻辑、没有 prompt 改写、没有 cache——这些都留给上游。
作为对比,LiteLLM / Portkey 这类网关通常会做流式格式归一化、token 计数、retries with backoff,叠加 5-50ms。Experiential 把这些层都推到下游,所以延迟能压到 <1ms。代价是:如果你想要中间件逻辑(比如统一的 fallback 策略),需要自己加。
官方 key <2ms 是因为要走上游的认证和 SSL 握手,BYOK <1ms 是因为 key 在你自己手里,TLS session 可以复用。
Codex Agent 每天开 PR 是个狠活
这是整个项目最狠的部分。
仓库里有个 workflow(具体路径是 .github/workflows/sync-models.yml,我没看错的话是这个名字),跑起来是:
- Codex Agent 被定时 trigger(每天 UTC 0 点)
- 扫描所有 provider 的
/v1/models或等价端点(OpenAI、Anthropic、Google、DeepSeek、Cohere、xAI、Mistral、还有一堆自托管后端) - 比对当前仓库的
models.json或类似的索引文件 - 发现新模型 / 下线模型 / 价格变动 → 生成 diff → 开 PR
- PR 里有完整的 changelog、provider 来源链接、新模型的上下文窗口、价格等 metadata
维护者只需要 review,不需要每天手动加。
我试着想象了一下这个 agent 在生产环境跑一周会发生什么:
- 第 1 天:同步了 1000+ 模型,大部分是已有数据的 refresh
- 第 3 天:检测到某个 provider 上了新模型,开 PR 加进去
- 第 5 天:某个模型被 deprecate,PR 自动标记
- 第 7 天:GitHub Actions 跑了大概 7 次,PR 数量从 0 涨到可能 10-20 个
这是 self-improving infra 的雏形。基础设施不再是一块"写完就不动"的代码,它会跟着上游变化自己长。
类似的项目我之前没见过。生态里有人做 auto-update dependency(比如 Dependabot),但 auto-update model registry 是第一次。模型目录膨胀这个痛点很具体——Anthropic 一年发 4 个模型,OpenAI 也是,Google 更夸张,再加上开源社区的 Qwen、DeepSeek、Llama 每天都有新权重,你手动维护根本跟不上。
它解决了哪些真实的兼容性问题
就算不用它做"主网关",光看它处理的兼容性问题清单就值得读一遍 README。五个大类:
1. 流式格式差异
OpenAI 用 SSE,event type 是 chat.completion.chunk,delta 字段是 {role, content}。Anthropic 用不同的 SSE 格式,event type 是 message_start / content_block_delta / message_stop,delta 嵌套更深。Google Gemini 又是另一套。
Experiential 在网关层做归一化——你用 OpenAI 格式请求,它帮你转成 Anthropic 格式发出去,回来的 Anthropic 事件再转回 OpenAI delta 给你。下游代码不用管上游是谁。
2. 工具调用 JSON schema 不一致
OpenAI 的 tool calls 返回 {tool_calls: [{id, type, function: {name, arguments}}]},Anthropic 是 {content: [{type: "tool_use", id, name, input}]}。arguments 字段在 OpenAI 是 string,要自己 json.loads,Anthropic 是 object,直接用。
schema 不一致会让你的代码写两套分支,Experiential 在网关层抹平。
3. 模型参数映射
max_tokens、temperature、top_p 这些参数各家命名差异不大,但 stop 序列、frequency_penalty、presence_penalty 几家支持度不一样。还有 Anthropic 的 thinking 参数、OpenAI 的 reasoning_effort,都是后加的。
4. 速率限制五花八门
HTTP 429 是标准,但 Anthropic 返回的 header 是 anthropic-ratelimit-requests-remaining,OpenAI 是 x-ratelimit-remaining-requests。retry-after 的语义也不一样。Experiential 把这些归一化成统一的错误结构。
5. 错误处理
每个 provider 有自己的 error code(context_length_exceeded vs invalid_request_error vs RESOURCE_EXHAUSTED),Experiential 翻译成 OpenAI 兼容的错误对象,下游 catch 逻辑只需要写一次。
90% 的团队自己写 wrapper 时都会踩这些坑。Experiential 把它们集中处理了,省下来的代码量很可观。
上手值不值得
给一个决策树:
- 你已经在用 OpenRouter / LiteLLM,没明显痛点 → 继续用,观望。Experiential 的生态还很新,文档、监控、dashboard 这些都还在追。
- 你在自托管 vLLM(或 TGI、SGLang)调开源模型,同时又要调 Claude / GPT / Gemini → 迁移收益明显。统一鉴权、统一日志、统一计费这件事,Experiential 设计得比手搓 wrapper 干净。
- 你对模型目录膨胀已经感到痛苦(比如发现新模型出晚了几天)→ 直接试。这个 use case 它是 first-of-kind,没替代品。
源码在 github.com/experientiallabs/experiential,按 README 步骤跑就行。如果你要部署生产,建议先跑通 dev mode 看一眼 Rust 编译时间(项目体积不小,cold build 可能 5-10 分钟)。
编辑思考
self-maintaining 基础设施会不会成为新范式? 我倾向于"会,但有边界"。
代码自动改代码这件事,过去几年在依赖管理(Dependabot)、安全补丁(Snyk auto-fix)、文档生成(很多项目接 LLM 自动写 changelog)上跑通了。模型目录比这些场景更复杂,因为它是跨 provider 的、变更频率极高、metadata 维度多。Experiential 第一个把这套机制搬过来,值得记录。
但要注意它解决的问题非常具体——"模型目录膨胀"。不是所有 infra 都适合 self-maintaining。状态机、分布式协议、密码学原语这些东西,让 agent 自己改风险太大。所以"agent 维护 infra"这个范式会扩张,但只扩张到变更频繁 + 失败代价低的子领域。
不确定的点:
- PR 工作流能不能长期跑稳。Codex 会不会某天 hallucinate 一个不存在的 model?需不需要加一层"agent 开的 PR 必须有 maintainer approve 才能 merge"的安全网?项目方现在的设计我还没完全看清楚。
- 大厂官方网关会不会快速跟进。OpenAI 自己出过一个代理的概念(不是产品),Anthropic 没出,但 Cloudflare Workers AI 在做类似的事。如果 Cloudflare 把这个模式抄过去,Experiential 的先发优势会缩窄。
- 真正的 killer use case 可能不是网关。如果"agent 自动维护模型目录"这个 pattern 跑通,它下一个落点可能是 agent 自动维护 prompt library、自动维护 eval suite、自动维护 RAG 索引。Experiential 如果只做网关,天花板有限;如果做成"agent 维护 ML infra"的通用框架,会更有意思。
这也是我把它拎出来单独写的原因——不是因为延迟数字,而是因为它可能是下一个 AI infra 范式的雏形。