[开源推广] Octopus 更新,API聚合网关,让你的 Agent 再也不会由于API的问题中止,再也不用发送继续!

本帖使用社区开源推广，符合推广要求。我申明并遵循社区要求的以下内容：

- 我的帖子已经打上 开源推广 标签： 是

- 我的开源项目完整开源，无未开源部分： 是

- 我的开源项目已链接认可 LINUX DO 社区： 是

- 我帖子内的项目介绍，AI生成、润色内容部分已截图发出： 是

- 以上选择我承诺是永久有效的，接受社区和佬友监督： 是

以下为项目介绍正文内容，AI生成、润色内容已使用截图方式发出

这次重构真的是一个很大的重构,上次和佬友们讨论了一下

这个项目搁置了一段时间,最近开始重新捡起来了,经过这么长时间的沉淀,有些想法想和佬友们讨论一下,其实很久之前就想发个帖子了
主要是项目的定位问题
^-^
个人想法以及一些吐槽
目前我自己是这样想的:

重构日志,改为请求实时可视化,另外日志不再保存到数据库
保持单机部署,目前的分发功能是想直接删了的,目标就是给自己个人一个用户使用的,真的需要分发的话newapi就是一个很好的选择
各种官方的 oa…

对项目的定位目标做了一些调整

举个真实的场景例子

codex 接入octopus后进行对话

codex显示 working

此时octopus日志端就会推送一条日志

点击日志后显示重试请求详情,此时octopus会拦截所有的错误,不会返回给codex,codex仍在等待

手动选择渠道后,渠道正常响应,透传或者协议转换后发送给codex

也就是说整个请求链路都是可视化的,任何错误信息都会被octopus拦截,并且不会传给codex,codex不会因为上游错误而中止,再也不需要发送继续了

下面是本次更新的具体信息:

删除了以下功能:

- embedded 等接口,仅保留了 /chat/completions /responses /messages

- 单渠道多KEY,多URL

- 各种故障转移策略

- 日志储存到数据库

重构优化了:

日志

- 删除了保存到数据库的功能,之前有反馈说日志会导致数据库文件爆炸,后面考虑了历史日志对于本项目的定位来说没有用,而且之前的设计也不支持查询历史日志,没有实际意义

- 请求到达时立即显示一条日志,点击日志后可以查看实时请求状态,并可以快速切换渠道

故障转移

之前的故障转移还有各个别的网关软件我都看到很多人都在吐槽故障转移不好用,所以本次直接删了,改为手动切换,不会出现自动切换渠道时掉缓存的问题

(解决不了问题,那就解决问题的功能)

协议转换

- 不同协议之间的转换直接使用的 axonhub

- 新增了透传,同协议下默认走透传,不会出现各种奇怪的工具调用

前端

- 优化性能

页面之间的切换应该流畅多了

- 日志页面秒开,不会等很久了

地址:

github.com

GitHub - bestruirui/octopus: One Hub All LLMs For You | 为个人打造的 LLM API 聚合网关

One Hub All LLMs For You | 为个人打造的 LLM API 聚合网关