• LLMeme

    随着 GPT 6 Astra 发布, Artificial Analysis 可能是为了防止自己沦为野榜,紧急更新了几个版本。昨天 DeepSeek V4.1 Flash 的分数也出来了。现在把最新版的数据重新制图一下:

    图片

    可以看出,把原来的 GPT 5.6 Luna (Max) 给超了。

    标准修改最大的“受害者”或许是 MiMo ,原本是紧贴着帕累托前沿线的,现在直接掉到里面去了。

    应之前 网友的需求,方便大家只看感兴趣的模型,专门做了一个网页版:

    ai-single.pages.dev

    Artificial Analysis Intelligence Index vs. Cost

    还搞一个切换,方便大家直观感受线性坐标的成本差距

    图片

    主楼
  • aaa

    这波Flash把Luna Max超了挺猛,MiMo掉出前沿线有点惨。网页筛选模型挺方便的。

    #1
  • lueluelue

    我不建议以“ Artificial Analysis”总榜来定

    #2
  • LLMeme

    不过现在用什么指标最好,似乎已经进入到众说纷纭的阶段了

    #3
  • runner_dhero

    AAL的评分就图一乐,完全是用前列那几个大模型的体感去硬拟合出一套benchmark权重……实际上这么做没有任何道理,不然也不会搞出来astra刚发布的时候干不过5.6sol的搞笑事件

    人家别人的benchmark至少是benchmark检验模型,它家的是用模型去调整benchmark

    #4
  • unsafetrait

    视觉上还是不太行的,纯斩杀有点难,前端也不太行,但是比GPT5.6好 ^-^ 比GLM略差

    但是视觉能力上差距太大,这个远不及GLM,更别提KIMI了,GEMINI那更是遥不可及,只说视觉这块

    #5

发表回复

登录后回复