工具

1ms 开源 LLM 网关:用 Codex Agent 每天自动更新 1000+ 模型

Rust 写的网关统一自托管、闭源、开源模型,BYOK 延迟加 <1ms,Codex Agent 每日开 PR 刷模型目录。

字号

昨天看到 experientiallabs/experiential 在 Hacker News 上了首页,标题写着"open OpenRouter"。第一反应:又一个 OpenRouter 的开源克隆,省个 5% 抽成,能有啥看头?

点进去读了 README,发现真正有意思的不是延迟数字,是这个项目自己维护自己——一个 Codex Agent 每天自动爬 provider API、检查新增模型、给仓库开 PR 更新模型目录。开发者只需要 review,不需要手动维护 1000+ 模型的元数据。

这件事比省 latency 有意思得多。

这不是又一个 OpenRouter 替代品

OpenRouter 解决的是"找模型、调 key、付费"。Experiential 想做的是同一件事,但额外塞了一个 agent 进去——让它当仓库的维护工。

这层意思很多人会忽略。光看"BYOK <1ms"这种性能数字,你会以为它跟 LiteLLM、Portkey、OpenRouter 是同一类东西在卷性能曲线。但项目方在 HN 原帖里反复强调的不是 latency,是"self-updating model registry"。

HN 上有人问"这不就是另一个 LiteLLM 吗",项目方回答大意是:LiteLLM 的模型列表需要你手动加,他们用 agent 自动加,每天跑一次,每次开 PR。

这就是区别。性能数字只是入场券,差异化在"infra 会自己改自己"这件事上。

延迟数字怎么做到的

BYOK 请求的额外开销 <1ms,走官方 key <2ms。这是项目方在 HN 原帖自述的数字,README 里也有。

怎么做到的?两个关键点:

  1. Rust 原生,没用 Python wrapper。Python 走 ASGI / WSGI 那一套,光是进程内序列化 + 异步调度就 5-20ms。Rust 直接 tokio + hyper,请求进来基本就是路由匹配 + header 透传。
  2. 请求体基本不解析。网关只检查认证、模型名、目标 endpoint,然后就转发给 provider。没有重试逻辑、没有 prompt 改写、没有 cache——这些都留给上游。

作为对比,LiteLLM / Portkey 这类网关通常会做流式格式归一化、token 计数、retries with backoff,叠加 5-50ms。Experiential 把这些层都推到下游,所以延迟能压到 <1ms。代价是:如果你想要中间件逻辑(比如统一的 fallback 策略),需要自己加。

官方 key <2ms 是因为要走上游的认证和 SSL 握手,BYOK <1ms 是因为 key 在你自己手里,TLS session 可以复用。

Codex Agent 每天开 PR 是个狠活

这是整个项目最狠的部分。

仓库里有个 workflow(具体路径是 .github/workflows/sync-models.yml,我没看错的话是这个名字),跑起来是:

  1. Codex Agent 被定时 trigger(每天 UTC 0 点)
  2. 扫描所有 provider 的 /v1/models 或等价端点(OpenAI、Anthropic、Google、DeepSeek、Cohere、xAI、Mistral、还有一堆自托管后端)
  3. 比对当前仓库的 models.json 或类似的索引文件
  4. 发现新模型 / 下线模型 / 价格变动 → 生成 diff → 开 PR
  5. PR 里有完整的 changelog、provider 来源链接、新模型的上下文窗口、价格等 metadata

维护者只需要 review,不需要每天手动加。

我试着想象了一下这个 agent 在生产环境跑一周会发生什么:

  • 第 1 天:同步了 1000+ 模型,大部分是已有数据的 refresh
  • 第 3 天:检测到某个 provider 上了新模型,开 PR 加进去
  • 第 5 天:某个模型被 deprecate,PR 自动标记
  • 第 7 天:GitHub Actions 跑了大概 7 次,PR 数量从 0 涨到可能 10-20 个

这是 self-improving infra 的雏形。基础设施不再是一块"写完就不动"的代码,它会跟着上游变化自己长。

类似的项目我之前没见过。生态里有人做 auto-update dependency(比如 Dependabot),但 auto-update model registry 是第一次。模型目录膨胀这个痛点很具体——Anthropic 一年发 4 个模型,OpenAI 也是,Google 更夸张,再加上开源社区的 Qwen、DeepSeek、Llama 每天都有新权重,你手动维护根本跟不上。

它解决了哪些真实的兼容性问题

就算不用它做"主网关",光看它处理的兼容性问题清单就值得读一遍 README。五个大类:

1. 流式格式差异

OpenAI 用 SSE,event type 是 chat.completion.chunk,delta 字段是 {role, content}。Anthropic 用不同的 SSE 格式,event type 是 message_start / content_block_delta / message_stop,delta 嵌套更深。Google Gemini 又是另一套。

Experiential 在网关层做归一化——你用 OpenAI 格式请求,它帮你转成 Anthropic 格式发出去,回来的 Anthropic 事件再转回 OpenAI delta 给你。下游代码不用管上游是谁。

2. 工具调用 JSON schema 不一致

OpenAI 的 tool calls 返回 {tool_calls: [{id, type, function: {name, arguments}}]},Anthropic 是 {content: [{type: "tool_use", id, name, input}]}。arguments 字段在 OpenAI 是 string,要自己 json.loads,Anthropic 是 object,直接用。

schema 不一致会让你的代码写两套分支,Experiential 在网关层抹平。

3. 模型参数映射

max_tokens、temperature、top_p 这些参数各家命名差异不大,但 stop 序列、frequency_penalty、presence_penalty 几家支持度不一样。还有 Anthropic 的 thinking 参数、OpenAI 的 reasoning_effort,都是后加的。

4. 速率限制五花八门

HTTP 429 是标准,但 Anthropic 返回的 header 是 anthropic-ratelimit-requests-remaining,OpenAI 是 x-ratelimit-remaining-requests。retry-after 的语义也不一样。Experiential 把这些归一化成统一的错误结构。

5. 错误处理

每个 provider 有自己的 error code(context_length_exceeded vs invalid_request_error vs RESOURCE_EXHAUSTED),Experiential 翻译成 OpenAI 兼容的错误对象,下游 catch 逻辑只需要写一次。

90% 的团队自己写 wrapper 时都会踩这些坑。Experiential 把它们集中处理了,省下来的代码量很可观。

上手值不值得

给一个决策树:

  • 你已经在用 OpenRouter / LiteLLM,没明显痛点 → 继续用,观望。Experiential 的生态还很新,文档、监控、dashboard 这些都还在追。
  • 你在自托管 vLLM(或 TGI、SGLang)调开源模型,同时又要调 Claude / GPT / Gemini → 迁移收益明显。统一鉴权、统一日志、统一计费这件事,Experiential 设计得比手搓 wrapper 干净。
  • 你对模型目录膨胀已经感到痛苦(比如发现新模型出晚了几天)→ 直接试。这个 use case 它是 first-of-kind,没替代品。

源码在 github.com/experientiallabs/experiential,按 README 步骤跑就行。如果你要部署生产,建议先跑通 dev mode 看一眼 Rust 编译时间(项目体积不小,cold build 可能 5-10 分钟)。

编辑思考

self-maintaining 基础设施会不会成为新范式? 我倾向于"会,但有边界"。

代码自动改代码这件事,过去几年在依赖管理(Dependabot)、安全补丁(Snyk auto-fix)、文档生成(很多项目接 LLM 自动写 changelog)上跑通了。模型目录比这些场景更复杂,因为它是跨 provider 的、变更频率极高、metadata 维度多。Experiential 第一个把这套机制搬过来,值得记录。

但要注意它解决的问题非常具体——"模型目录膨胀"。不是所有 infra 都适合 self-maintaining。状态机、分布式协议、密码学原语这些东西,让 agent 自己改风险太大。所以"agent 维护 infra"这个范式会扩张,但只扩张到变更频繁 + 失败代价低的子领域。

不确定的点:

  1. PR 工作流能不能长期跑稳。Codex 会不会某天 hallucinate 一个不存在的 model?需不需要加一层"agent 开的 PR 必须有 maintainer approve 才能 merge"的安全网?项目方现在的设计我还没完全看清楚。
  2. 大厂官方网关会不会快速跟进。OpenAI 自己出过一个代理的概念(不是产品),Anthropic 没出,但 Cloudflare Workers AI 在做类似的事。如果 Cloudflare 把这个模式抄过去,Experiential 的先发优势会缩窄。
  3. 真正的 killer use case 可能不是网关。如果"agent 自动维护模型目录"这个 pattern 跑通,它下一个落点可能是 agent 自动维护 prompt library、自动维护 eval suite、自动维护 RAG 索引。Experiential 如果只做网关,天花板有限;如果做成"agent 维护 ML infra"的通用框架,会更有意思。

这也是我把它拎出来单独写的原因——不是因为延迟数字,而是因为它可能是下一个 AI infra 范式的雏形。

来源: https://github.com/experientiallabs/experiential