cherryfrei · 2026-09-24T06:24:00+08:00

有 pro PLUS 自己反代的佬友有没有测试过这个问题，我用几家中转站发现都是共享缓存

cherryfrei2026-09-24
30831
有 pro PLUS 自己反代的佬友有没有测试过这个问题，我用几家中转站发现都是共享缓存
主楼
exboy2026-09-24
9333
之前使用中转站的时候，切换模型缓存会重新创建，这个应该是模型厂商那边的能力
#1
cherryfrei2026-09-24
30831
我之前也是切换缓存失效，但是 GPT6sol 和 GPT6luna 的缓存技术可能不太一样
#2
HeriX2026-09-24
4436
从技术层面上来讲，不同模型的缓存是不能通用的
不同权重的模型kv缓存算的肯定不一样
不然输入都可以用便宜模型来了
#3
cherryfrei2026-09-24
30831
我觉着技术上还是能实现高速缓存共享的，还是希望大家真实测一下，看看是不是我的几个中转站的问题还是 GPT 缓存机制变了
#4
HeriX2026-09-24
4436
从LLM原理上就没有可能，权重不一样， prefill出来的键值对没有可能一样的
#5
fablia2026-09-24
5831
至少之前5.6和6是不行的，完全重建缓存
Claude切换模型的时候也会提示，会重新把上下文读取进去，消耗会更大
#6

登录后回复

GPT6luna 和 GPT6sol 的缓存能不能共享