Measuring AI Ability to Complete Long Tasks

AI benchmark 层出不穷又快速饱和,分数之间无法互相换算,导致'AI 到底进步多快'这个问题一直缺一个跨年代、跨模型可比的量纲。METR(前身是 ARC Evals,专做前沿模型自主能力评估的非营利机构)提出用'人类完成同样任务需要的时间'作为难度标尺:如果一个模型能以 50% 成功率完成人类专家需要 1 小时的任务,它的 50% time horizon 就是 1 小时。这个定义把 GPT-2 到 o3 放到了同一根轴上。

任务池由三部分拼成:HCAST 的 97 个软件/网安/ML 任务(人类耗时 1 分钟到 30 小时)、RE-Bench 的 7 个 8 小时 ML 研究工程任务、以及专为测量 2023 年以前弱模型新造的 66 个 SWAA 单步小任务(1-30 秒)。人类基线来自 800+ 次实测(共 2529 小时),baseliner 是平均 5 年经验的软件/ML/网安从业者。评了 2019-2025 年间 12 个 frontier(加 4 个 near-frontier)模型,每个模型-任务对约跑 8 次。

核心发现:50% time horizon 从 GPT-2 的 2 秒涨到 o3 的约 110 分钟,对 release date 做对数线性回归得到 207 天(95% CI 166-240 天)的翻倍周期。这条线是 AI 2027 等 takeoff 时间线讨论中被引用最多的经验依据,也是 catalog 里'AI 何时能自主做研究'这一问题目前最主流的量化答案。

从成功率到 time horizon:类 IRT 的 logistic 拟合

每个任务先二值化(连续分数按人类目标分数设阈值;RE-Bench 用 7-9 小时人类跑分均值做阈值),任务难度直接用成功人类基线时间的几何均值 t_task 表示。然后对每个模型拟合 logistic:p_success = σ((log h_agent − log t_task)·β_agent),h_agent 就是 50% time horizon。思路来自心理测量学的 Item Response Theory,区别是难度不从模型答题反推、而是直接锚定人类耗时。

置信区间用三层 hierarchical bootstrap(task family → task → run,10000 次)。单个模型的 horizon 误差棒很宽,但作者强调各模型误差高度相关(抽到偏易/偏难任务会同向抬高/压低所有模型),所以斜率(doubling time)比任何单点都可信。为防大 task family 主导,每个任务按 family 大小的 1/sqrt 加权。

外部效度三连测

作者自己就把外部效度当成最大威胁,做了三组检验。一是把同一套方法套到 SWE-bench Verified 上:指数趋势仍在,但 doubling time 只有约 70 天(同期自家任务是 143 天),作者归因于 SWE-bench 的时间标注是'熟悉代码库的维护者视角',会系统性低估外包工程师完成简单任务的耗时。二是给 HCAST+RE-Bench 任务打 16 项 'messiness' 因子(是否资源受限、环境是否动态、有无清晰反馈回路等):控制任务长度后,模型在 messier 任务上成功率显著更低,但随时间的改进趋势在高/低 messiness 两个子集上相似,没有出现'脏任务上进步停滞'的证据。

三是用 METR 内部真实 PR(未污染)做小规模测试:发现外包者修一个 issue 比 repo 维护者慢 5-18 倍,而模型表现与'外包者耗时'标尺一致、显著差于'维护者耗时'标尺——也就是说 horizon 的绝对值严重依赖你拿哪群人当参照系。

80% 地平线与失败模式

把成功率阈值从 50% 提到 80%,doubling time 几乎不变(204 vs 207 天),但 horizon 绝对值缩短 4-6 倍——模型'偶尔能做成难任务'和'可靠完成中等任务'之间差距巨大,这对实际部署是关键警示。定性分析对比 GPT-4 1106 与 o1 各 30 余次失败运行:老模型最大的死法是重复无效动作(12/31),o1 已基本消除这一点(2/32),但'过早放弃任务'反而成了新模型的主要失败模式(16/32)。

外推到 1 个月地平线

以 167 工作小时(约一个人月)为阈值做 naive 外推:按 2019-2025 趋势,中位估计 2029 年中,80% CI 宽约 2 年;若按更陡的 2024-2025 趋势,一半概率落在 2027 年甚至 2026 年底。作者用 multiverse 敏感性分析(bootstrap 任务/运行/模型、加权与正则化选择、基线噪声)表明统计噪声不是主要不确定性来源,真正的大头是外部效度和趋势本身会不会变。

• 50% time horizon 每 207 天(约 7 个月)翻倍,95% CI 166-240 天,log-linear 拟合 R²=0.97;GPT-2 仅 2 秒,GPT-4 约 5 分钟,Claude 3.7 Sonnet 约 50-59 分钟,o3 约 110 分钟。
• o3 显著高于 2019-2025 长期趋势线(p=0.006);2023-2025 段趋势比全期快约 20%,2024 年后可能已加速到约 4-5 个月翻倍。
• 80% 成功率地平线的 doubling time(204 天)与 50% 几乎相同,但绝对值短 4-6 倍——可靠性远远落后于'碰运气式'能力。
• 模型平均成功率与人类耗时的对数强负相关(R²≈0.80-0.83);模型间任务级成功相关性平均 0.73,说明'哪些任务难'在模型间高度一致。
• SWE-bench Verified 上复现出指数趋势但 doubling 仅约 70 天,差异主要来自时间标注参照系不同(维护者 vs 外包者,后者慢 5-18 倍)。
• 控制长度后模型在高 messiness 任务上表现更差,但高/低 messiness 子集的改进趋势斜率相似,未见'真实感任务上进步停滞'的证据。
• Naive 外推:2028 中-2031 中之间出现 1 个月(167 小时)地平线的 AI,中位 2029;若按 2024-2025 加速趋势则提前到 2027 前后。

对课题组'AI 何时能自主完成研究级长任务'的核心问题,这是目前唯一一个跨 6 年、可持续更新、且经受了换套件复测的量化标尺,讨论 takeoff/自动化 AI 研发时间线绕不开它。用的时候记住三条纪律:引用斜率而非绝对值;区分 50% 和 80% horizon(后者才接近'可靠可用');外推到 research 任务时要过 messiness 和领域差异这两道折扣。

方法论本身也可借鉴:用人类耗时作为跨 benchmark 的统一难度量纲 + logistic 拟合提取 horizon,这套做法可以直接搬到我们自己的评测上(repo 里 src/horizon 是可安装的 Python 包,runs.jsonl 格式简单)。反面教训同样有价值:人类基线的招募方式和计酬设计会系统性污染 y 轴,如果我们要做自己的 baseline,应避免纯时薪激励、并记录参照人群与任务的专业匹配度。