开源 AI 网关聚合方案

对接多个 AI 服务商时,最头疼的不是模型本身,而是 SDK 各写一套、配额各管各的、某个服务一挂整个功能就瘫。用开源 AI 网关统一入口是省事的解法,本文分享我的落地经验。

一、解决什么问题

二、接入方式

把网关当成一个中转服务部署,业务侧只需把 base_url 指向网关:

curl http://gateway:8080/v1/chat/completions \
  -H "Authorization: Bearer <你的KEY>" \
  -d '{"model":"gpt-4o-mini","messages":[{"role":"user","content":"你好"}]}'

三、渠道分组策略

我按「免费额度优先 → 低价备用 → 稳定兜底」三级配置渠道:日常请求走免费额度池,量大时自动溢出到低价渠道,核心业务绑定稳定渠道并开启重试。

四、避坑提示

免费额度渠道稳定性参差,务必开启健康检查;同时把单渠道 QPS 限制调小,避免一个渠道被打爆拖垮全站。