• shandianchengzi

    国内厂商偶尔会送 Code plan,但是它们并发都卡得很死很低,可能一个 API 只支持六个并发请求,同一个会话子 agent 多了,或者同时开好几个会话时并不好用。

    高强度使用 CC switch,它会自己监听 API 可用性并切换,但是有时候一个节点只是并发超过了并不是不可用了,也会被熔断掉,很苦恼。

    想问问各位佬友有没有能够自行配置每个 API 的并发数,并且依次选取不同的 API 进行请求的 Harness?Claude Code 和 Codex 肯定不支持这样,DeepSeek Harness 不同会话可以用不同 API 但是同一个会话依旧不支持多个 API,也不会在不同会话共享 API 的使用情况,仍然会容易卡死或死循环。

    我自己也写了个 Harness 支持切换 API、记录会话过程和开销,挺好用的。但是自己写的还缺会话管理,缺共享 API 使用情况和加锁之类的一些细节的功能。如果有现成的就更好了,没有现成的只能接着改改自己的玩具了 QAQ。

    或者这种场景是否更推荐直接使用 openrouter?

    主楼
  • calendar

    这需要的感觉是自己中转一下,和 harness 没有什么关系

    看看能不能自己改一下 axonhub、newapi 之类的

    #1
  • lan

    图片

    图片

    这种的,可以看一下pi-desktop,基于pi开发的Agent,通过pi-ai支持了厂商账户登陆和apikey形式

    #2
  • shandianchengzi

    但是好像也没有体现切换,只能一次登一个 API 账号去用 Agent?

    #3
  • Astralyn

    接入 CPA 使用轮询(这样应该就可以把并发均匀分配到几个 API Key 了(

    #4
  • 禄眠

    你的需求是自动轮询还是随意切换供应商,如果只是想切换使用不同供应商,我记得Claude code同一个会话切换不同供应商模型不是能用的吗,codex也可以啊,只是codex需要重启,还有pi也可以

    #5
  • shandianchengzi

    不是自动轮询也不是手动切换供应商。自动轮询会浪费算力,手动切换会浪费时间。

    我需要的是自动分配当前请求对应的 API 的中转站,比如一个 API 有 6 个并发,当前请求需要占用 7 个,就分别交给两个 API 做。做的过程中给 API 池加 lock。就是最简单的资源分配调度问题。

    #6
  • shandianchengzi

    谢谢佬友我刚刚去查了一下,cpa 的轮询看起来好像和 cc switch 的 test 测试类似,只是从手动变成自动定时触发了,不知道是不是这样

    #7
  • 丁丁

    图片

    图片

    图片

    图片

    图片

    图片

    让DSH给你手搓一个调度器,给你参考一下

    #8
  • shandianchengzi

    谢谢佬友,可能确实我这需求太小众了我也自己去手搓吧

    #9
  • Byte01

    如果好用了能否开源一下,遇到了一样的问题,同一个提供商,一个key遇到限速了,自动切换另一个key。

    #10
  • 二月萧萧

    opencodex可以看看 但是不同provider还是可能有些不兼容问题

    比如any的就和别的站不能共用。。

    #11
  • Norman_Mises

    zcode吧 接 api 用的的

    #12

发表回复

登录后回复