过去一年，几乎每次新模型发布都会附带一串刷新纪录的分数。但当MMLU、GSM8K这些老牌基准的成绩普遍逼近九成，“谁更强”反而越来越说不清楚。基准饱和、数据污染与选择性汇报叠加，让评测榜单的可信度被反复质疑，行业正被迫重建一套新的衡量方式。
老基准饱和，区分度正在消失
MMLU覆盖五十多个学科的选择题，曾长期是衡量通用知识的主力指标。随着前沿模型的成绩从六成提升到接近九成，领先者之间的差距被压缩到几个百分点，统计噪声几乎与真实差距相当。GSM8K、HumanEval等数学与代码基准同样如此，部分模型已接近满分，继续用它们排名，参考价值有限。
更麻烦的是污染问题。许多基准的题目与答案早已进入公开语料，模型在预训练阶段就可能“见过”。研究者多次发现，只需对提示做轻微改写，模型成绩就明显波动，这暗示部分得分来自记忆而非推理。
分数失真的三种常见来源
- 测试集泄漏：题目、答案或近似变体出现在训练数据中，模型背题而非解题。
- 定向优化：围绕公开基准做针对性训练与提示工程，在榜上表现好，迁移到新任务却下降。
- 选择性报告：只公布占优的基准与配置，回避不利结果，读者难以看到完整画像。
新基准把难度与真实感同时拉高
为破解饱和，新一批基准刻意提高门槛。ARC-AGI系列用视觉推理谜题考察抽象归纳，新一代发布后模型得分仍处低位；Humanity's Last Exam汇集数千道专家级难题，前沿模型的正确率也只有两成上下；SWE-bench把任务换成真实开源仓库的缺陷修复，考的是多文件定位与长程规划。面向动态性的LiveCodeBench、LiveBench则持续注入新题，降低被背下来的可能。
与此同时，评测重心从“考试”转向“干活”。LMArena依靠匿名对战与人类偏好投票给出排名，难以被单一分数操纵；METR等机构用任务时长衡量智能体能否稳定完成数小时工作；OpenAI推出的GDPval让模型处理真实职业交付物，由专家盲评。这些设计的共同点，是接受答案不唯一、过程比结论更重要。
评测重建的三道难题
难题之一是可复现性。同一个模型，在不同推理预算、提示模板与采样参数下成绩差异明显，榜单若不公开配置，结果就难以横向比较。其二是成本，专家出题、人工盲评与动态维护都耗费人力与算力，更新速度常常赶不上模型迭代。其三是激励，厂商有动机只展示高光数字，第三方审计与更详细的模型卡因此变得必要。
可以预见，未来的评测会更像一套组合拳：静态难题把握能力上限，动态题库监测泛化表现，人类偏好反映实用体验，真实任务检验落地价值，再辅以红队测试覆盖安全边界。分数会继续存在，但单一榜单定胜负的时代正在结束。对使用者而言，与其记住某个榜首名字，不如弄清楚它究竟在什么条件下取得、又能迁移到什么场景。