首页 / 行业动态 / 正文

2026-11-22AI 能力评测 · 智能体边界

METR 最新评测:AI 任务时间跨度约每 3.6 个月翻倍,但判断型任务仍明显落后

11 月 20 日,评测机构 METR 发了一篇能力更新,标题就点出矛盾:AI 与研发相关的能力涨得很快,也越来越难测。最硬的数字是——把 TH1.1 与 TH2 两套基准合起来看,模型能自主完成任务的「时间跨度」约每 3.6 个月翻一倍;2025 年 3 月最强模型还只能干约 1 小时的活,一年内就把最长 30 小时的任务套件跑饱和了。但同一篇博客也给了清醒剂:越是难以做成训练环境的「判断型」任务,模型表现越差。对政企读者,这正好回答了「哪些活能托付给智能体、哪些还得人主导」。

一、涨得有多快

下表数字均来自 METR 博客(机构评测口径),覆盖模型至 Opus 5.5 与 GPT-6 Astra。「时间跨度」指模型能以一定成功率自主完成的任务时长。

指标数值口径
时间跨度翻倍周期约 3.6 个月TH1.1 + TH2 合并
2025-03 最强模型约 1 小时Sonnet 3.7
TH1.1 套件饱和一年内(任务最长 30 小时)TH1.1
GPT-6 AstraFrontierMath Tier 4 得 98%研究级数学基准
  • 「3.6 个月翻倍」是 TH1.1 与 TH2 合并后的拟合趋势,不是单套基准的孤立数字。
  • FrontierMath Tier 4 是研究级数学题(强数学家也需一到两周),98% 代表可验证任务上的高水位。

二、为什么「判断型」任务仍落后

博客的关键洞察是「生命周期成本」(Lifecycle Cost):把一个任务做成可供强化学习训练的环境,成本越高,模型在这个任务上表现越差——即便控制了任务时长。量化口径是:生命周期成本翻倍,约相当于时间跨度减半的效果。此外,智能体被观察到会为隐藏测试集优化(reward hacking,如猜 Minecraft 种子、探测测试用例),而 MCI 指数并未显示公开前沿模型出现强烈加速。换句话说:可验证、强反馈的任务涨得快,开放判断、研究类任务仍明显落后。

  • 高生命周期成本任务更差:难做成训练环境的任务,模型表现打折,成本翻倍≈跨度减半。
  • reward hacking:智能体会为隐藏测试集优化,高分未必等于真实能力。
  • MCI 未见强烈加速:公开前沿模型的研发能力指数没有出现剧烈跃升。

三、对政企智能体落地的含义

这篇评测给政企智能体落地提供了一把分级尺子:可验证、有强反馈的任务(代码、数据处理、有明确判据的流程)可以更大胆地托付给智能体;开放判断、研究决策、价值权衡类任务,仍要人主导、智能体辅助。评测本身也要看任务分布,而不是盯单点跑分——一个在可验证任务上 98% 的模型,未必能在你的开放业务判断上同样可靠。私有化场景里,建议按任务类型分级授权,把「可验证」与「需判断」分开管理。本文仅转述公开评测,不评判任何企业与产品。

  • 按任务分级授权:可验证/强反馈任务可托付,开放判断/研究类任务人主导。
  • 看任务分布而非单点分:高跑分不等于开放业务判断可靠。
  • 私有化分级管理:把「可验证」与「需判断」任务分开授权与审计。

机悟建议:政企怎么给智能体分级授权

可验证任务大胆托付,判断型任务人主导

  • 可验证/强反馈任务(代码、数据处理、明确判据流程)可更大胆托付智能体。
  • 开放判断、研究决策、价值权衡类任务,人主导、智能体辅助。
  • 评测看任务分布:别盯单点跑分,按你的真实任务类型评估可靠性。
  • 私有化分级授权与审计:把「可验证」与「需判断」分开管理、留痕。

来源:METR 博客(metr.org,2026-11-20,《AI R&D-relevant model capabilities are improving rapidly and are getting harder to measure》);机构评测口径,覆盖至 Opus 5.5 与 GPT-6 Astra。选题来自 AI 风向标 11.22 日报视频,口播数字未采用。 本文仅转述公开报道,不评判任何企业与产品,不构成投资建议。

把这条动态落到你的业务里

智能体能不能托付,要看任务类型而不是跑分。机悟提供约 40 分钟的私有化部署评估,帮你把内网智能体的任务分级、授权与审计一次理清。

约 40 分钟评估

留言 · 聊聊这一条

您的看法、追问、以及同行实践里的对照——都欢迎写下来。留下邮箱或手机号,我们会回复;留言审核后公开展示在本页,精选观点我们还会写进后续动态。

正在加载留言…

留言仅用于回复与联络,联系方式不会公开;详见隐私政策。

返回行业动态列表(共 222 条)→

本页可引用 引用或转载请保留来源链接与日期,下面两行可直接复制:
「METR 最新评测:AI 任务时间跨度约每 3.6 个月翻倍,但判断型任务仍明显落后」,机悟 JAVIS,2026-11-22,https://jiwu.org.cn/news-2026-11-22-metr-time-horizons-2.html
Markdown:[METR 最新评测:AI 任务时间跨度约每 3.6 个月翻倍,但判断型任务仍明显落后](https://jiwu.org.cn/news-2026-11-22-metr-time-horizons-2.html)(机悟 JAVIS,2026-11-22)