• Wu_Alice

    以下内容来自X:

    目前 GPT 已经针对鹈鹕绘制测试做了 OTA 更新,降智模型也可以画出 Astra 版本的正确生物和机械结构了。

    针对 OpenAI 在提示词和 OTA 上愈发迷惑的风控系统,社区也及时发布了新的测试方法,xqy2006 在 GitHub 发布的 Model Trace 可以根据 Token 的概率分布倒推真实模型。

    同时社区演进出的一个更有趣的玩法是,可以利用此方法查看模型与模型之间的“亲缘关系”,例如“你正在使用的开放权重模型和哪一个私有权重模型更接近呢?”

    网页版测试链接见下 Link Below ^-^

    xqy2006.github.io

    ModelTrace

    在浏览器本地运行的语言模型指纹归因工具

    图片

    图片

    主楼
  • remade5671

    牛逼,国内手机厂商的套路全学会了

    #1
  • matata

    测出来100%是 astra,但是鹈鹕还是一坨

    图片

    图片

    #2
  • Nidhog0w0

    测了一家中转的pro池子,鹈鹕和知识库截止日期都是astra的样子,测出来100% luna

    之后测了官定20x的claude,选的opus5,测出来opus5占86.2%,opus4.7占12.2%

    鹈鹕长这样:

    图片

    #3
  • Wu_Alice

    现在天天用GPT之前我都先做个多合一测试,还有其它测试,不然都不放心 ^-^每天看佬友还有X上的奇奇怪怪地检测方法

    图片

    #4
  • 贾承国

    测了下公司copilot的astra, 98.1%astra但知识库截至24年6月XD

    图片

    #5
  • Wu_Alice

    现在问知识截止日期貌似也不大准,经常回答不一样的

    #6
  • matata

    看了下README,指纹库是采集自codex,可能指纹库采集的时候已经被降智astra污染了:

    图片

    #7
  • BoldDolphin

    图片

    测出来是astra 但是回答问题质量堪忧

    #8
  • 贾承国

    ^-^ 合理的

    或者可能采集指纹时没采集到要点导致降智后的模型也能装出来(?

    #9
  • ZinGer_KyoN

    但是可以从用户确认自己没降智的指纹反推库上的指纹有没有被污染吧? 我目前没有被降智的现象, 这个也的确测出98%+的astra率

    #10
  • 天地无极羹

    担心鹈鹕被特训就画别的,画别的好歹也是干活,你最终目的也是干活,指纹意义没有干活大。

    #11
  • flowzeta

    真是 [道高一尺,魔高一丈]!!

    #12
  • matata

    也有可能是量化的astra,或者指纹库中包含降智+正常的astra,比对的时候都认为是astra

    #13
  • BryceWG

    风控的账号不是一般用一会就capacity吗,感觉还是挺明显的吧

    #14
  • xqyqx

    指纹是astra刚出的第一天采集的,还没有出现降智

    另外如果有任何问题可以在l站主帖这里反馈:ModelTrace:三次提问推测具体模型(更新codex插件,任务中定期动态测试模型,降智自动中断)

    #15
  • Wu_Alice

    很多人都会出现这个capacity,但是有些不会降智,就是高峰被限流了,过会自己就恢复

    #16

发表回复

登录后回复