Codex对话缓存永久保存！！！随时命中！

deepseek刚开源一天就蒸馏出来了？

蒸馏也是AI干吧，AI还不是很快的事吗 ^-^

不是哥们，昨天deepseek刚公布缓存，今天tibo就宣布优化 ^-^ ^-^

“相互借鉴，共同进步“，你蒸馏我蒸馏你。

但deepseek好像是三天，这永久是怎么搞出来的？好奇，难道存硬盘了？

说不定实际上是存客户端硬盘里了，毕竟服务器硬盘存储也是一笔成本，不然就不是真永久，只是时间变得很长

DS 也是存硬盘哦，不知道 OAI 调度策略是怎么样的

那这样的话首字会爆炸的吧（）

限制一段时间后回来还得从本地上传到 OAI，再还原到推理集群（）

永久缓存不等于永久保持同一份上下文，更不等于压缩后不需要重新建立缓存

DeepSeek这次开源的DeepInfer，没有包含完整的KV Cache存储系统，而且OpenAI在缓存时长这方面很早就有相关研究。

另外，这次的缓存改进和蒸馏不是一回事，两家的使用的机器/架构也不一样，并不能默认复用或者说借鉴了deepseek的技术。

现在x上基本都是图中的想法，不是真永久存着

和ds那个不是一条路，算是取巧点

RAM 跟 SSD那么贵，咋可能给你永久存

希望A/赶紧跟上，每次午休回来就是一堆未命中的token计费 ^-^

储存股持续利好？

MU、SK、三星