• tyshine

    佬们,我们公司本地用vllm部署了大模型,现在想的是部署个中转站来管理,毕竟vllm的api key不能直接给员工用。想要通过中转站来统一管理,我试了下new-api感觉效果不是很理想,有什么中转站可以限制不同人的性能,TPM等的啊?

    主楼
  • Armstrong💪

    1.newapi可以限制的rpm tpm的

    2.轻量化可以考虑axonhub或者octopus这些,也是站内佬友开源维护的

    #1

发表回复

登录后回复