• sandiferresner

    github.com

    图片

    GitHub - justhil/evid-wall: 灰测路由证据链墙与公开证据提交页

    灰测路由证据链墙与公开证据提交页

    https://www.zhihu.com/question/2073476043097359622/answer/2073568425855684643

    ?

    这几个我都看了一下。一个很根本的问题是,根本无法确认测试是不是真的使用的是 DeepSeek 官方的 API。

    简单做一个测试, 伪造 https://api.deepseek.com/ 返回的结果. 用 Loon 测试了一下, MITM 中 加入api.deepseek.com, 加一个转写规则```
    ^https?:\/\/api\.deepseek\.com\/?$ mock-response-body data-type=plain data="This is a test for post on linux.do" status-code=200.
    ```访问 https://api.deepseek.com/ 就是我修改之后的内容.

    图片

    所以,哪怕是上面有录屏, 看起来很专业,很严谨, 都是有办法伪造的, 想返回什么随便改。

    从底层本质来说, DeepSeek 路由用户请求到 Anthropic 有什么好处呢, 我想不出来. 整个事情就很莫名其妙, 像是打配合的。

    主楼
  • 空喵

    一切都是因为灰测太强而v4pro太弱,让子弹再一会,看v4.1pro的表现吧

    #1
  • EthanYe-linuxdo

    路由到高级的模型,可以进行蒸馏啊?然后数据再拿来升级自己的模型?你总不可能自己创造提问去蒸馏

    #2
  • AlexCas

    上次所谓灰测期间有很多当场测试的,但是由于争议,帖子全被送去亚空间了。

    #3
  • Xeltra

    我记得6月多的时候,有人说火山coding plan的glm5.2概率路由到claude

    #4
  • 长夜

    比较好笑的在于,蒸馏是专门设计问题的,用真实请求这种信噪比那么高的玩意去“蒸馏”……结果基本比较浮云。

    而重放对比回答质量逻辑上倒是很合理,但是……都明确知道自己在重放,可能不做专门的数据筛选吗?

    在工程上,这种指控就比较无厘头。反正玩不符合工程性,更不符合经济性。也不知道到底什么样的机构回去这么操作。然后目的是什么。

    这个闹剧看起来,如果后继有机构要推出大模型,所以先对市面上的模型进行一波前置火力压制,那反而就和符合逻辑了。

    让子弹飞一会吧。

    现在持这个论调的可以标记一下,他们有可能是先知,也有可能是水军——反正标记一下绝对不亏,到时候放哪一个分组让事实决定。

    #5
  • unsafetrait

    这个之前我们对比过真的FABLE5和灰测的模型,其实距离FABLE5差距挺大的,但是比OPUS5那坨屎要好得多,所以就很诡异知道吧

    #6
  • unsafetrait

    这个事我专门去问了火山的人,朋友的说法是,我们脑子抽了,给你用高价模型?客服的回答是不太清楚

    #7
  • xsmingerfan

    我作为个人用户,我真的看过那个帖子并复现过。所以我倾向于认为是真的。如果要问好处的话,我觉得是用于蒸馏A/的模型,蒸馏是需要成本的,这么搞其实就是正常的付出蒸馏的成本。

    #8
  • ninaya

    还真是,现在要完善取证难道叫Deepseek再灰测一次吗…

    八月全面灰测时的证据贴发了吵了删,删了发发了吵…,现在再要求完善证据是不是有点…?

    #9
  • 小猫曦月

    路由的样本量相对比较大,很多人都在不同harness里复现了,所以稀释了单个证据的不可靠性

    而且第一次路由时是有社区里的大佬测试的,所以我比较倾向于相信他没有作伪证的动机

    #10
  • Uncle_Money

    我这几天在试试当“专家”给 模型出题,然后做标记。

    复杂度比预想的高得非常多的多,真不是你随便聊天或者搞个项目就有价值的。

    不说蒸馏本身要获取的是思维链,就说你正常获取数据,得对结果做标注吧?得进行比较吧?

    可以用其它模型做标注工作,但不准啊,大概率还是得人工上。

    所以给普通调用路由到更高模型,然后把结果直接返回给用户?

    至少我没见过这些大模型公司有这种傻子。

    #11
  • 363653919

    A%的话能信? 之前还说,中国模型蒸馏它的未来模型呢,

    #12
  • EthanYe-linuxdo

    图片

    图片

    图片

    图片

    图片

    图片

    图片

    图片

    直接贴GPT分析比较简单,经济学是划算的。

    #13
  • Uncle_Money

    我其实没太理解,这些朋友们到底想要证明的是什么?

    是 D 家虚假宣传? D 家能力不行? D 家靠蒸馏没有真才实学?

    回过头,D 家做了他们说的事情的动机和收益是什么?

    现在按照他们的说法,是有目的的行为,那就可以排除是员工犯傻或者无意的行为。

    如果是有目的的,目的是啥?动机是啥?收益是啥?

    光说蒸馏可不够啊,这收益不对等啊。

    动机也把 D 家说得太卑劣了。

    所以,就很难理解。看不懂。

    #14
  • komqaq

    第一,蒸馏不是用c端用户低质量输入蒸馏的,第二就算他用你数据,也在后台自己调,为什么要给你直接路由过去,他们钱多烧的吗,还是纯纯大善人啊

    #15

发表回复

登录后回复