AI聚合api网关系统源码轩玮博客-探索建站技术,分享专业见解IT博客轩玮博客

AI聚合api网关系统源码

AI聚合api网关系统源码轩玮博客-探索建站技术,分享专业见解IT博客轩玮博客
详情
评论
问答

AI聚合api网关系统源码

温馨提示:本文最后更新于2026-11-08 12:32:13, 某些文章具有时效性,若有错误或已失效,请在下方 留言或联系 轩玮博客 。

AI文摘
此内容由AI根据文章内容自动生成,并已由人工审核

QuantumNous是一款基于Go和React的AI聚合API网关系统,支持多种协议转换、多租户管理、计费与额度系统、插件机制和Web控制台。系统内置多种模型接口,支持多语言,可部署在Docker环境中,实现高效的多实例集群。

图片[1]轩玮博客-探索建站技术,分享专业见解IT博客AI聚合api网关系统源码轩玮博客-探索建站技术,分享专业见解IT博客轩玮博客
一、基础信息

组织:QuantumNous(主维护者:Calcium-Ion)
后端语言:Go,Gin 框架,GORM ORM
前端:React19 + TS + Rsbuild + TailwindCSS,使用 Bun 构建
数据库:SQLite(默认开箱即用)、MySQL、PostgreSQL;日志库可独立使用 ClickHouse
缓存:内存缓存 + Redis(多节点、分布式限流必须 Redis)
协议:AGPL-3.0;如果你二次修改并且对外提供服务,必须公开修改后的源码
定位:统一网关,把几十家不同厂商格式各异的大模型接口,对外转换成一套兼容 OpenAI 的接口;同时内置完整多租户、计费、额度、审计、用户管理系统,不是单纯代理
当前版本:v1.0.0-rc,已经完成新版前端重构,支持新旧面板切换
二、核心功能1. 渠道与协议转换(最核心)内置独立模块 relaykit,专门做协议互转:

✅ OpenAI / Claude / Gemini / Azure / Bedrock / DeepSeek / 通义 / 豆包 / Kimi 等四十多家上游
✅ Chat、Embedding、Rerank、TTS、ASR、图像生成、视频生成(Seedance)、Suno 音乐
✅ 流式输出、Function Call、Reasoning、多模态图片输入、WebSocket Realtime
✅ 自动把 Claude / Gemini 的请求体翻译成 OpenAI 格式返回,客户端不用改代码切换模型
✅ 智能路由:加权随机、按模型绑定渠道、失败自动降级重试、渠道熔断、优先级路由、按成本路由
2. 用户、密钥、权限体系(多租户)

角色:Root、管理员、普通用户
用户注册、邮箱验证码、OIDC / Telegram / Discord 第三方登录、两步验证、通行密钥
用户组:不同组可以访问不同模型,独立定价、独立限速
API Key:用户自己生成,支持绑定模型白名单、限额、过期时间;所有调用绑定这个 key
细粒度限流:单用户、单 key、单渠道、全局速率限制
3. 计费 & 额度系统(区别于 LiteLLM、原生 OneAPI)

支持阶梯定价、输入 / 输出分开计价、缓存感知计费(适配 Claude / OpenAI prompt cache)
钱包、充值、支付对接、邀请码、订阅套餐
用量日志、看板、成本统计、调用审计日志,可以单独分离日志库
预扣额度机制,防止超额透支
4. 插件系统 Task PluginJS 插件机制,用来对接异步任务类模型:Midjourney、万相、Seedance、Suno;这类模型不是同步返回结果,而是提交任务轮询获取结果,插件负责封装任务提交、查询、回调。
5. Web 控制台

模型广场、渠道测试、在线 Playground,直接在网页调试对话
全局设置、发信、登录配置、代理、模型重命名、模型映射
多语言:简体中文、繁体、英文、日文、法语等
6. 部署模式

Docker /docker-compose(主流,就是你宝塔正在部署的)
源码编译部署
支持多实例集群(共享数据库 + Redis + 相同加密密钥)

本站代码模板仅供学习交流使用请勿商业运营,严禁从事违法,侵权等任何非法活动,否则后果自负!

笔墨有情,赞赏留香

您的支持是我们创作的最大动力

为TA充电
THE END
喜欢就支持一下吧
点赞0赞赏 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容

通知图标

欢迎访问轩玮博客网

购买广告位

注意:请确保您的网站内容合法合规,广告内容需符合相关法律法规。支付成功后广告将自动上线,到期后自动下线。
建议长度:2-8个字 (0字)
建议尺寸: 宽度800px以上, 高度根据广告位比例调整
(0/200字)
请选择支付方式
💳
支付宝
💰
余额