- 温州程序员劝退师2026-09-22
最近我正好有刷榜的任务，也正好有做题库的任务，突然觉得整件事有点扯
怎么证明一个榜有权威性？业界通常是找一些专家来构建题目（虽然干活的都是科研牛马）那么如果他不公开题目，我们怎么确定他是否是好题？有些佬友可能会说看跑分。但跑分其实只能证明这些题有区分度，但不一定是贴合使用场景的题
那么题目如果公开呢？很快就会成为厂商特需花训练的养料，有效性立即进入倒计时
想想都头疼
主楼 - Ys_Ltr2026-09-22
让一个模型出题给其他模型做，交叉验证
- 温州程序员劝退师2026-09-22
- 380kkm2026-09-22
训练集/测试集/验证集
- Ys_Ltr2026-09-22
- 翠花上酸菜2026-09-22
我觉得也只能不公布具体题目，仅公布题目的考察方向，同时强调仅供参考。具体好不好用其实无法给出一个准确答案，在某些特定需求上Astra可能完全比不上豆包
- 宫野志保2026-09-22
定期解禁上期题库并发布新题库重测，还可以顺便看看哪个闭源模型偷偷降智
- 温州程序员劝退师2026-09-22
我看了一些专门评测的厂商的做法 也是这样的
- heidi2026-09-22
虽然不能验证这一代，但是可以开放历史题目验证上一代模型。问题是开放出来又由谁去评估权威性呢？
- 温州程序员劝退师2026-09-22
敢开放意味着欢迎来 battle 虽然不一定有人来挑毛病