- 白包4天前17333
今天Tibo宣内codex登录用户永久缓存,API缓存12小时
永久缓存怎么想都不太可能
所以以下是我的脑洞猜测实际情况:
实际缓存只储存12小时,超过12小时的缓存会生成一段类似hash的校验值放到HHD并记录在用户的帐号数据中,原本真正的缓存会删除。
下次用户进行请求时先进行校验,先把codex的上下文生成一个校验值与储存在帐号数据的校验值匹配,校验成功的上下文以缓存的价格/额度进行扣费。
这也是为什么只有登录用户能用,因为从整个数据库匹配要花太多时间和成本,不太可能,但限制到帐号的数据范围就很简单。
因为把超过12小时以上的对话重新拉出来的需求不会太多,成本上也能够负担。
因此所谓永久缓存其实是Tibo把对用户让利写成技术突破的炒作
(纯脑洞猜测)
主楼 - caspian4天前17334
确实,但也算是个不错的更新,今天就不骂tibo了
- dunNaNa4天前5583
说是永久,但没说费用如何,说不定是越久越贵呢
- theseus4天前17335
能便宜就好啦。这个才是最要紧的 ^-^
- Edge4天前14855
如果费用是按照缓存命中计算,那它内部怎么实现的我都不在乎
- 诡道疯人4天前5117
甚至不会便宜太多 毕竟你o出缓存读写大头是压缩来着 也就每天第一次能省一点吧 ^-^
- gadfly31734天前13331
- 砂銀4天前17336
codex的模型下线期短?说是永久,两个月后模型下线就可以名正言顺的删了