• 天上火

    简单来讲,这种技术和传统显式 cot 思维练最大的区别就是推理完成过程完全压缩在模型内部,这样的好处是推理深度大幅度加强,内存开销大幅度降低,坏处就是无法监察模型内部思考过程,你不知道模型完成任务时到底在想什么

    图片

    https://www.theinformation.com/articles/secret-technique-behind-openais-astra-model-sparks-security-concerns

    astra 这么强的原因可能就是因为这个技术了,从流出的结果来看,哪怕 fable5.1 都感觉和 astra 差了一代

    图片

    主楼
  • 白泽

    怪不得奥特曼敢说AGI,这么看来好像确实有点东西

    #1
  • penny66

    希望尽快发布 给a/多点压力 让a/估值压低

    #2
  • wpy

    loop transformer?

    #3
  • hehe

    赶快端出来吧,吹了半天用不上又啥用 ^-^

    #4
  • ishadows

    是这样的话,思考是不是不会额外按Token收费了?

    #5
  • 砂銀

    听起来挺像之前的 pro thinking啊

    #6
  • LaoDa9527

    每次都说的很牛逼,实际稍微牛逼一点

    #7
  • coolcloud

    一箭三雕啊

    这下那些偷思维链蒸馏的 是不是就彻底防住了

    #8
  • Kotone

    ^-^要真是这个水平那AGI确实要来了

    #9
  • WWT

    真的假的?要是真的就好了

    AI又开启一轮新的激烈的斗争了(误^-^^-^

    #10
  • 余君

    这么说价格方面不会提升太多?毕竟节约了不少显存

    #11
  • 古月方源001

    估计又是宣发最早,上线最晚了,oa特色了

    #12
  • unsafetrait

    也就是说,它以后删你文件之前甚至没有个预警直接就删?回滚你GIT仓库的时候毫无征兆?嗯嗯,真棒呢

    #13
  • TIlO

    他怎么思考跟能不能执行是两回事吧^-^能不能直接执行是harness的事

    #14
  • 擎伞驻阡陌

    奥特曼敢说AGI是因为他一直敢说AGI

    #15
  • 曜一

    这样的话模型能力更强,但是不知道它在想什么会不会引发安全问题呢

    #16
  • lueluelue

    如果是这样的话,那 OpenAI 是怎么监测的呢?他们还说对齐有很大进步

    会不会是烟雾弹啊

    #17
  • 擎伞驻阡陌

    你能看到的实际处理内容,也是模型的正式输出内容,他的意思是原来的<think>部分压缩到模型里面了,也就是向量循环传递,而非token解码后的内容进行传递。相关的论文很早就有了

    #18
  • Moonie

    latent token? 听起来也不是很新,倒是放工业界使用挺新奇

    #19

发表回复

登录后回复