工具

OmniRoute 是什么?一个端点聚合 350 个 AI provider 的自托管网关

把 Claude Code、Cursor、Codex 接到 OmniRoute,自动 fallback + 上下文压缩 + 配额追踪,Docker 一行部署,自托管完全免费。

字号

OmniRoute 是个 TypeScript 写的自托管 AI 网关,Docker 一行部署。一个 OpenAI 兼容端点统一接入多 provider,自动 fallback、配额追踪、长上下文压缩。把 Claude Code、Cursor、Codex 的 base URL 指过去,就能在它们里面换模型。

它解决什么问题

用 Claude Code / Cursor / Codex 这类 AI Coding 工具,每个工具默认绑死单一 provider。想换模型得改配置,想用免费额度得开多个账号、记一堆 rate limit。OmniRoute 的思路是:把这层抽象掉。

一个 OpenAI 兼容端点,接多 provider / 多 model,其中部分 provider 有免费档。后台自动算配额、失败切下一个、长上下文压缩。目标是让"分散的免费额度"变成一个池子。

怎么用

部署一行 Docker:

docker run -d -p 3500:3500 diegosouzapw/omniroute

服务跑在 http://localhost:3500。

把 Claude Code 或 Cursor 的 base URL 改成 http://localhost:3500/v1,API key 随便填(OmniRoute 自己鉴权,这里只是占位)。

直接用 OpenAI SDK 调也成:

import OpenAI from 'openai';

const client = new OpenAI({
  baseURL: 'http://localhost:3500/v1',
  apiKey: 'any-string',
});

const r1 = await client.chat.completions.create({
  model: 'anthropic/claude-sonnet',
  messages: [{ role: 'user', content: '写一个 Python 快速排序' }],
});
console.log(r1.choices[0].message.content);

调用链对调用方透明,SDK 不用改。

它怎么工作(架构)

三个核心模块:

  1. Provider Adapter 层。把多个 provider 的 API 差异(OpenAI / Anthropic / Gemini)归一化成统一接口。写一次代码,后面换 provider 不动。

  2. Quota Tracker + Fallback Router。实时追踪每个 provider 的剩余配额。请求来了先查配额,有额度就发,失败/限流就按策略(轮询 / 优先级 / cost-aware)切下一个。这和普通代理最大的区别——不是简单转发,是知道"哪家快满了"。

  3. 压缩层。请求前压缩 system prompt 和上下文,响应后压缩工具调用结果,README 声称节省显著比例 tokens。

流程:Client → 压缩层 → Router(查配额)→ Provider Adapter → 外部 API → 返回压缩。

它哪里好 / 哪里不好

好的地方:

  • OpenAI 兼容端点,现有工具零改造接入。
  • 支持多个国产 provider(具体看官方 provider 列表),对中文用户友好。
  • TypeScript 全栈自托管,Docker 一行跑,门槛低。
  • 兼容 Claude Code / Codex / Cursor / OpenCode / Cline 等主流 AI Coding 工具。
  • 支持 MCP 协议。

不好的地方:

  • README 营销味重。"聚合 ~1.51B 免费 tokens/月"这种数字是把所有免费档加总,不是真实可用额度。实际取决于各家 ToS 和 rate limit。
  • 自托管意味着自己跑服务、监控配额、续各家 API key。运维成本不是零。
  • 多 provider 依赖,任一家 ToS 变动都受影响。某 provider 关免费档,这边路由就空。
  • 压缩层在 Coding Agent 场景效果不错,但对长对话质量可能有损耗。压缩比越高,信息损失越大。

谁该用 / 谁别用

适合:

  • 想白嫖多 provider 免费额度的个人开发者
  • 用 Claude Code / Cursor 但想换国产模型的中文用户
  • 自托管爱好者,喜欢掌控数据流
  • 需要做 AI Agent 路由层二次开发的团队

不适合:

  • 企业生产环境——免费档稳定性无 SLA
  • 只用单一 provider 且额度够用的人——多此一举
  • 对延迟敏感的高频生产场景——多一跳网关就是多一跳延迟

编辑思考

OmniRoute 本质上是 OpenRouter 的开源自托管版。核心价值不是"1.51B tokens"这种夸张数字,而是把"AI Coding 工具必须绑单一 provider"这个限制打掉了。

对中文用户最实际的意义:可以在 Cursor / Claude Code 里切到 DeepSeek、GLM、Kimi 等国产模型的免费档,不用太担心 Anthropic 封号或额度烧光。Anthropic 这两年对中国 IP 和免费额度的政策一直在收紧,有一个聚合层等于留了退路。

这次和过去 LiteLLM 这类项目的不同在于:OmniRoute 主打 AI Coding Agent 场景,加了上下文压缩和配额感知 fallback。这两个功能以前是企业级 API 网关(如 Cloudflare AI Gateway、Portkey)才有的,现在一个 Docker 容器就跑。门槛从"公司买 SaaS"降到"个人拉一个镜像"。

不确定的地方:具体支持的 provider 数量和免费档可用率(很多小 provider 估计是聚合站、二次封装,稳定性存疑);核心维护者活跃度(单人项目的 bus factor 是 1);压缩对代码生成质量的具体影响需要更多 benchmark。

参考: OmniRoute GitHub 仓库

来源: https://github.com/diegosouzapw/OmniRoute