• Xyzen

    本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容:

    - 我的帖子已经打上 开源推广 标签: 是

    - 我的开源项目完整开源,无未开源部分: 是

    - 我的开源项目已链接认可 LINUX DO 社区: 是

    - 我帖子内的项目介绍,AI生成、润色内容部分已截图发出: 是

    - 以上选择我承诺是永久有效的,接受社区和佬友监督: 是

    以下为项目介绍正文内容,AI生成、润色内容已使用截图方式发出


    魔改版项目链接: GitHub - XyzenSun/octopus-customization · GitHub

    原作:

    - 希望大家多多支持原作大佬的项目,因为我的魔改版只是根据我的个人喜好去调整,所以我把pr 关闭了,后续应该会在个人魔改的路上越来越远… 佬们可以给原作提pr一起参与进来,我就可以狠狠地合并进我在这里

    图片

    - 原帖: octopus | 为个人打造的美观优雅的 LLM API 聚合服务 支持 会话保持 熔断 单渠道多KEY多端点 自动分组 自动同步上游模型 热重载 负载均衡 协议互转 用量统计

    - 原作开源地址: GitHub - bestruirui/octopus: One Hub All LLMs For You | 为个人打造的 LLM API 聚合网关 · GitHub


    二次开发新增的功能,没合并进原作大佬的原因其实很朴实,原作大佬最近似乎在换前端的技术栈,我没学过ts+react的技术栈,但我又让ai改了很多前端,目前这个前端我觉得已经满足我的需求了,所以就直接在老前端上改了:

    渠道模型测试

    类似 newapi 的渠道测试。

    图片

    更精细的日志系统设置

    本程序记录完整日志,并批量写入数据库。也就是说,如果请求量较大,内存占用会比较大,所以增加了:

    单条日志大小上限

    日志内存缓存条数上限

    折半 GC:目前到达日志内存缓存条数上限时,会清除较旧的一半,保留最新的 上限 / 2 条

    但这只是消除了指针,内存有没有回收就要看 goruntime 了。通过这个设置,可以在一定次数后主动 GC 释放内存。

    图片

    协议透传

    当入站协议和出站协议相同时,不再进行协议格式转换,只把 key 和 url 替换成上游,并过滤掉一些有影响的请求头,比如proxyip

    分组级的参数覆盖

    原作目前只支持渠道级,通常是够用了,但这样更方便些的,这个的用途就比较广泛了,比如说强制设置 deepseek 模型的思考等级为 max,这样就不用在 cc 里面 /effort 调节了,整组调节,不用去每个渠道里改了

    图片

    精准调用指定渠道的模型

    通过 渠道名/模型名 直接精准调用某个渠道的模型。例如我可以把 model 设为 黑与白/glm5.2,即可精准使用,不用再去设置分组。

    docker部署,一键体验~

    docker run -d --name octopus -v /path/to/data:/app/data -p 8080:8080 ghcr.io/xyzensun/octopus-customization

    主楼
  • seller1990

    佬,我也二开了下,不过我是编程小白,纯ai改的,佬的我也参考下哈哈

    本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容:

    我的帖子已经打上 开源推广 标签: 是
    我的开源项目完整开源,无未开源部分: 是
    我的开源项目已链接认可 LINUX DO 社区: 是
    我帖子内的项目介绍,AI生成、润色内容部分已截图发出: 是
    以上选择我承诺是永久有效的,接受社区和佬友监督: 是

    以下为项目介绍正文内容,AI生成、润色内容已使用截图方式发出

    我是一个编…

    #1
  • woemmla

    最开始也是用这个,后面自己开发了一个,自己想要的功能都有

    github.com

    图片

    GitHub - My-Search/my-ai-gateway: My AI Gateway(MAG) 是专为个人设计的统一 AI...

    My AI Gateway(MAG) 是专为个人设计的统一 AI 网关,提供多渠道聚合、本项目重点是模型熔断分为模型级、渠道级,能智能路由到可用模型,对外暴露 OpenAI / Anthropic 兼容接口。

    #2
  • TomyGin

    佬有机会加个 totp 吗。我记得 octopus 的登录接口可以暴力尝试

    #3
  • Rayn_V

    同样用的这个,然后也是让ai二开了,感觉还是二开好,自己想要啥加啥就行

    #4
  • Xyzen

    可以的佬,这个我发现了,登录接口没限流和验证码,我看看后面加个totp 作为2fa

    目前我是用的cf的速率限制功能,你可以先用这个

    #5
  • Xyzen

    这个设计的是真美观,而且现在换成axonhub的协议转换后,我觉得非常好用

    #6
  • Rayn_V

    axonhub我也用过,但是有些搞不明白就是模型那块,最终还是放弃了

    #7
  • bestrui

    前来支持

    协议透传

    这个功能一直想加来着,前段时间把协议转换切换到 axonhub/llm 的时候就想加上了

    #8
  • Xyzen

    添加上了佬,已经合到main分支,等action发新docker镜像直接替换即可

    #9

发表回复

登录后回复