行业动态 › 正文

2026-10-29榜单 · 评测口径

榜单改卷:60% 的分改从隐藏题里出,开源与闭源的差距拉到 12 分

你上周看到的「前四名挤在 3 分内」还是老卷子的答案。10 月底这份 v5 把六成的分改成了「题目和答案都不给你看」的私有题,评分标准也从「能不能跑通」改成了「这个 PR 维护者愿不愿意合并」。分数变了不打紧——打紧的是:引用榜单时,快照日期和题集从此必须一起写。

一、v5 到底改了什么

  • v4 上线以来最大重构:60% 评测权重建立在私有测试集/隐藏答案上,防止刷榜;
  • 知识、编码、科学、通用能力四类各按 25% 计权;
  • 编码细分里,Cognition 同日发布的 FrontierCode 2.0 独占 15%、Terminal-Bench 4.0 占 10%;
  • FrontierCode 2.0 的 132 项任务全部来自真实开源仓库,按维护者「是否愿合并该 PR」打分,阻塞检查失败直接零分。

二、这份快照下,谁在哪一档

对象该快照口径的分数读数
DeepSeek V4.1-Flash-1017(max)28%(编码项)已放权重模型中最高
Gemini 4 Argon / Kimi K3.1 Pro / GPT-6 Luna25.7 / 25.5 / 25.2同口径紧随其后
已放权重模型综合分天花板32 分与第 3 条的 28% 是两个维度,别互算
该快照榜首58 分(Claude Opus 5.5)见第「三」节的快照问题

三、同一份卷子,两批人各引了一半

注意一个真实的口径冲突:本稿引用的 IT 之家报道里,该版榜首是 58 分的闭源模型;而谷歌 10 月 28 日自己发博,称新模型 Gemini 4 Carbon「在刚更新的 v5.0 上以 59 分位列第一」。两个数都不假——是同一份指数在不同日期快照上的两个结果,先后差一天。

所以引用榜单的正确姿势是:写版本号、写快照日期、写具体题集。只写「榜单第一」这四个字,从 v5 时代起就已经不算信息了。

榜单变成「暗考」之后,采购口径要跟着改

给你写选型文件的四条:

  • 引用任何榜单数字,三件套一起写:版本(v5)、快照日期、题集(如 FrontierCode 2.0 的 15%);
  • 「开源差 12 分」是这份卷子按可合并性打分的结果,不等于你单位业务任务的差距——自己测;
  • 试点验收门槛建议直接照抄出题思路:拿真实仓库的「愿合并 PR」当题,别用跑通即得分的演示题;
  • 同一事实两个来源数字不同(28 vs 59 这类),正文并排放并写明各自快照,不强行折中。

来源:IT之家对 Artificial Analysis v5 报告与 Cognition 发布的报道;「59 分登顶」为谷歌官方博客自称口径。 本文仅转述公开报道,不评判任何企业与产品,不构成投资建议。

返回行业动态列表(共 127 条)→

选型文件里的每个分数,都该能回答「哪份卷子、哪天的」。

把你的候选模型清单给我们,逐条核到快照与题集,出一版带口径标注的对照表。

本页可引用 引用或转载请保留来源链接与日期,下面两行可直接复制:
「榜单改卷:60% 的分改从隐藏题里出,开源与闭源的差距拉到 12 分」,机悟 JAVIS,2026-10-29,https://jiwu.org.cn/news-2026-10-29-aa-index-v5-private-tasks.html
Markdown:[榜单改卷:60% 的分改从隐藏题里出,开源与闭源的差距拉到 12 分](https://jiwu.org.cn/news-2026-10-29-aa-index-v5-private-tasks.html)(机悟 JAVIS,2026-10-29)