- cnnqjban5212026-09-0256338
主要能做下面几件事
① 统一接入与协议适配
② 身份认证与访问控制
③ 流量治理(限流 / 熔断 / 降级)
④ 成本计量与优化
⑤ 内容安全与防护
⑥ 数据安全与隐私
⑦ 审计与可观测
⑧ 策略引擎与护栏
因为公司接入很多供应商的模型,但是模型的使用量,敏感性问题访问(和自己企业高度相关的)管控不了,想通过分配给各个应用的key进行管控。
主楼 - rapmq02026-09-0214578
sub2api不行吗?
- verse42026-09-026601
自己开发
- cooreenb2026-09-0254466
二开newapi
- Aigot2026-09-024900
你这个得自己改吧,agent也统一?
- Skenqs2026-09-025747
new-api/sub2api
这两个如果不行,可以看一个比较小众的:https://github.com/astaxie/TokenHub
另外new-api现在插件系统已经experimental了
企业级token分发看着简单,个人觉得实际上非常复杂,如果自己做的话
- cnnqjban5212026-09-0256338
对,不是做着玩玩,是给大企业用的
- Skenqs2026-09-025747
要自己写吗 ^-^ ,想想就是无底洞,考虑看看能不能套liteLLM什么的吧
- cnnqjban5212026-09-0256338
对,最好是非侵入式。
- cnnqjban5212026-09-0256338
我看了一下newapi是可以用,关键能承载多大体量的请求
- Skenqs2026-09-025747
newapi不用担心,中转站都在用,属于商业认证过了。 ^-^
- 1x2026-09-028138
Tailscale Aperture / Cloudflare AI Gateway
- moonay2026-09-037421
接入的模型是直接官方的api吗?要开箱即用不太可能,还是需要量身定做
- PassionArie-nodeseek2026-09-0313553
bd