--- title: "如何不被模型榜单上的数字骗到" date: 2026-11-09 category: AI大模型 site: 脑机网 canonical: https://www.logic.wang/a/njw-cfe1b2 language: zh-CN --- # 如何不被模型榜单上的数字骗到 > 一个新大模型（大模型）发布时总会附一张分数表：这里92%，那里第一名。这些数字决定了媒体标题和采购预算，但绝大多数只衡量一件很窄的事，几乎没有一个在衡量你真正的工作。 一个新大模型（大模型）发布时总会附一张分数表：这里92%，那里第一名。这些数字决定了媒体标题和采购预算，但绝大多数只衡量一件很窄的事，几乎没有一个在衡量你真正的工作。 下面教你如何读懂这张分数表而不被它牵着走。 ## 关键要点 - 知识测试 MMLU：由 Hendrycks 等人于2020年提出，覆盖57个学科（从小学算术到法律）约1.59万道选择题。2020年模型接近25%的随机水平，如今前沿模型已接近90%。问题正在于此：MMLU 基本已经"饱和"，两个顶尖模型之间2分的差距意义不大。 - 小学算术 GSM8K：由 OpenAI 于2021年发布，含8500道需要2到8步运算的应用题。前沿模型普遍超过95%，同样已饱和，难以再区分最强系统。 - 真正写代码的测试 SWE-bench：HumanEval（OpenAI，2021）只检查164个小型 Python 函数能否通过单元测试，对现代模型已太简单。SWE-bench（普林斯顿，2023）更难：包含12个 Python 仓库的2294个真实 GitHub issue，模型必须读懂代码库并产出能通过项目自有测试套件的补丁。SWE-bench Verified 是2024年由 OpenAI 与普林斯顿发布的人工核验约500题子集，一度成为主流编程基准——直到污染问题浮现。2026年 OpenAI 指出多个前沿模型在 SWE-bench Verified 上出现训练数据污染的迹象，并着手废弃它。教训是：当模型开始"背"基准时，这个基准的寿命就到头了。 - 博士级测试 GPQA：由 Rein 等人于2023年提出，含448道生物、物理、化学的多选题，由博士撰写，使得能上网的非专家仅得约34%，而同领域博士约65%。其中198题的"Diamond"子集被引用最多，是少数仍能拉开前沿模型差距的测试之一。 - 三个常见的数字陷阱：同名不同指标（"SWE-bench"不等于"SWE-bench Verified"）；饱和掩盖真相（测试接近90%—95%后，小差异只是噪声）；污染与私有集（公开题会泄漏进训练数据，要看带留存或私有评测集的基准，没有污染检查的评分应打折）。 - 数学阶梯 AIME 与 MATH：除了 GPQA，还有两道数学阶梯。AIME 是美国高中数学竞赛，厂商爱引用它因为够难且公开；MATH（Hendrycks 等人，2021）含1.25万道竞赛题，覆盖七个学科，采用严格的精确匹配评分。两者都比 GSM8K 难饱和，但仍可被"刷"，所以务必看清版本与日期。 - 人类测试：偏好榜。Chatbot Arena（现 LMArena，来自 UC Berkeley）用盲测两两投票给模型排名，更接近"人们更喜欢哪个答案"而非"通过了哪道题"。它能捕捉静态测试漏掉的可用性问题，但票数会随投票者变化，也容易被发布日的声势带动。把它当情绪温度计，而非规格表。 - 当旧测试失效：Humanity's Last Exam。它诞生正因这个原因——作者指出模型如今在 MMLU 等流行测试上超过90%，旧测试能说的越来越少。它的2500道专家题（许多带图）设计成难以靠联网速查，正成为下一个"这模型真会思考吗"的标尺。 - 一个实用的辨别法：如果某厂商只在你从没听过的基准上"第一"，那通常正是重点——它挑了能赢的那项测试。好的声明会同时给出版本、评测框架，以及是否做了污染检查；缺任何一项，都更接近口号而非测量。 ## 诚实的局限 本文明确定义来自已发表论文与二手解读文章，我没有重新运行任何评测。分数会随评测框架和污染检查的变化而变动，"最好"完全取决于你的任务。文中厂商公布的数值我视作"待核实的主张"而非既定事实。另外，同一模型在不同评测框架下的分数可能相差很大，跨厂商横向比较时尤其要核对是否用了同一版本与同一评分规则。补充一点：本文把"基准"定义为有固定题目与固定评分规则的标准化考试，它衡量的是模型在该考试上的表现，并不等于模型在你真实工作场景上的表现——后者只能靠你自己的小样本评测来确认。 ## 普通人现在能做什么 - 先问清具体指标：在相信任何声明前，追问"哪个版本、哪个评测框架"。 - 跑自己的小评测：从真实工作里抽20到50个任务测试，排行榜排名对你用例的预测力很弱。 - 留意饱和与污染：优先选模型没"背过"的基准，并每季度复测一次。 - 警惕"总分第一"话术：要求厂商给出具体基准版本与评测框架，总分第一往往只代表它在某个自家占优的测试上领先。 --- 来源：脑机网（https://www.logic.wang/）｜原文：https://www.logic.wang/a/njw-cfe1b2 本内容仅供参考，不构成投资建议。