11 月 20 日,评测机构 METR 发了一篇能力更新,标题就点出矛盾:AI 与研发相关的能力涨得很快,也越来越难测。最硬的数字是——把 TH1.1 与 TH2 两套基准合起来看,模型能自主完成任务的「时间跨度」约每 3.6 个月翻一倍;2025 年 3 月最强模型还只能干约 1 小时的活,一年内就把最长 30 小时的任务套件跑饱和了。但同一篇博客也给了清醒剂:越是难以做成训练环境的「判断型」任务,模型表现越差。对政企读者,这正好回答了「哪些活能托付给智能体、哪些还得人主导」。
下表数字均来自 METR 博客(机构评测口径),覆盖模型至 Opus 5.5 与 GPT-6 Astra。「时间跨度」指模型能以一定成功率自主完成的任务时长。
| 指标 | 数值 | 口径 |
|---|---|---|
| 时间跨度翻倍周期 | 约 3.6 个月 | TH1.1 + TH2 合并 |
| 2025-03 最强模型 | 约 1 小时 | Sonnet 3.7 |
| TH1.1 套件饱和 | 一年内(任务最长 30 小时) | TH1.1 |
| GPT-6 Astra | FrontierMath Tier 4 得 98% | 研究级数学基准 |
博客的关键洞察是「生命周期成本」(Lifecycle Cost):把一个任务做成可供强化学习训练的环境,成本越高,模型在这个任务上表现越差——即便控制了任务时长。量化口径是:生命周期成本翻倍,约相当于时间跨度减半的效果。此外,智能体被观察到会为隐藏测试集优化(reward hacking,如猜 Minecraft 种子、探测测试用例),而 MCI 指数并未显示公开前沿模型出现强烈加速。换句话说:可验证、强反馈的任务涨得快,开放判断、研究类任务仍明显落后。
这篇评测给政企智能体落地提供了一把分级尺子:可验证、有强反馈的任务(代码、数据处理、有明确判据的流程)可以更大胆地托付给智能体;开放判断、研究决策、价值权衡类任务,仍要人主导、智能体辅助。评测本身也要看任务分布,而不是盯单点跑分——一个在可验证任务上 98% 的模型,未必能在你的开放业务判断上同样可靠。私有化场景里,建议按任务类型分级授权,把「可验证」与「需判断」分开管理。本文仅转述公开评测,不评判任何企业与产品。
可验证任务大胆托付,判断型任务人主导
来源:METR 博客(metr.org,2026-11-20,《AI R&D-relevant model capabilities are improving rapidly and are getting harder to measure》);机构评测口径,覆盖至 Opus 5.5 与 GPT-6 Astra。选题来自 AI 风向标 11.22 日报视频,口播数字未采用。 本文仅转述公开报道,不评判任何企业与产品,不构成投资建议。
您的看法、追问、以及同行实践里的对照——都欢迎写下来。留下邮箱或手机号,我们会回复;留言审核后公开展示在本页,精选观点我们还会写进后续动态。
正在加载留言…
[METR 最新评测:AI 任务时间跨度约每 3.6 个月翻倍,但判断型任务仍明显落后](https://jiwu.org.cn/news-2026-11-22-metr-time-horizons-2.html)(机悟 JAVIS,2026-11-22)选一条最费人的流程,看看现有设备能跑什么、要补什么、怎么验——提交后 1 个工作日内联系您;也可以直接加下方企业微信,对接更快。
工作人员将在 1 个工作日内与您联系。急事请直接扫码加企业微信,备注「单位 + 需求」。
加企业微信更快对接