论文研发自动化度量

Measuring AI R&D Automation

度量 AI 研发自动化:14 个可跟踪指标

Alan Chan, Ranay Padarath, Joe Kwon, Hilary Greaves, Markus Anderljung · Centre for the Governance of AI (GovAI) · arXiv · 2026-03 · 被引 3

arXiv

一句话GovAI 提出 14 个跟踪 AI R&D 自动化(AIRDA)程度及其对 AI 进展和 oversight 影响的具体指标,分实验型、调查型、运营型、组织型四类,并给出公司/政府/第三方各自该先做哪几个的建议;是指标设计框架,本身没有任何实测数据。

这是什么

背景是各家 frontier lab 都在公开押注研发自动化:Altman 预期 2028 年有 automated AI researcher,Google 声称 50% 新代码由 AI 生成,47% 开发者每天用 AI 工具。但现有数据几乎全是 capability benchmark(SWE-bench、RE-Bench、PaperBench 之类),既不能反映真实研发流程里自动化到了什么程度,更看不出后果——比如 AIRDA 是不是让 capabilities 比 safety 跑得更快、人类对研发过程的监督能力还跟不跟得上。

这篇 paper(GovAI + Oxford,2026-03)做的事情是把'该测什么'系统化:先给出一个分析框架——AIRDA 影响两个东西,一是 AI progress(加速、以及 offense/defense 差异化加速),二是 oversight gap(oversight demand 与实际达成的 oversight 之差);再据此提出 14 个 metric,每个都写清楚定义、能反映哪个维度、可行性、局限、信息敏感度、还差什么。

定位上这是一篇 governance/measurement 的 position paper,不是实证研究。价值在于把'RSI 是否已经在真实研发中发生'这个课题组关心的问题,从口水仗变成一张可操作的测量清单。

全文的顶层框架:AI R&D 自动化的程度(extent)同时影响 AI progress 和 oversight gap;oversight gap 由 oversight demand(需要多少监督)与 oversight capacity(能做多少监督)共同决定,AI progress 本身也会反过来推高 gap(如决策 stakes 变大)。14 个指标就是围绕图中每个方块设计的。

机制与做法

分析框架:extent → AI progress + oversight gap

论文把 oversight 拆得比较细:oversight demand(需要多少监督)、oversight capacity(有能力做多少监督)、实际达成的 oversight,gap = demand − 达成。AIRDA 双向作用:一方面 AI 产出更多、错误可能更多、决策 stakes 更高(demand 上升),研究员减员、对代码库失去 ground-level 理解(capacity 下降);另一方面 AI 能解放人类时间、提供可审计的 log/CoT、支撑 continuous monitoring(capacity 上升)。净效应不确定,所以要测。

对 AI progress 的关注点不是'快不快',而是 differential progress:offensive vs defensive capability 谁先到、safety research 能否跟上 capabilities、人类制度的适应速度是否被甩开。

AIRDA 如何双向改变 oversight gap:左侧红色是恶化因素(产出难懂、研究员 deskilling、更多产出待审、AI 更易错、决策 stakes 更高),右侧绿色是改善因素(解放人类时间、可审计数据更多、AI 辅助监督工具、对 AI 可以持续监控、AI 可能比人更少出错)。净效应不确定,正是需要指标去测的原因。

14 个指标,四大类

实验型(#1-5):AI R&D 评测成绩(含 time-horizon)、human-AI-team vs AI-only 的 RCT 对比、oversight red-teaming(生产环境的监督系统能否抓住被指示搞破坏的 AI)、misalignment 评测、compute efficiency 年改进率。

调查型(#6-7):员工自报的 AI 使用与生产力提升(可按 safety 团队 vs pre-training 团队分层,直接测 differential progress)、AI 在高风险决策(训练/部署决策)中的参与程度。

运营型(#8-10):研究员时间分配(设想用 AI 自动分类屏幕活动,'AI-powered Toggl')、AI 生成产出的缺陷率按监督强度分层的 retrospective、真实生产流程中的 AI subversion incident 计数(区别于沙盒评测)。

组织型(#11-14):研究员 headcount 与绩效分布、compute 在 internal inference vs external deployment 之间的分配、AI R&D 支出的 capital share(compute 占比升 = 劳动被替代的信号)、AI permission list(哪些动作允许 AI 无人审批执行)。

给谁用、先做哪个

论文明确按 actor 给优先级:公司先做 #1/#6(测 safety vs capabilities 的差异化自动化)和 #7/#8/#14(测 oversight 影响);政府建立保密上报机制,重点收 #7/#10/#12/#13;第三方(如 Epoch 这类非营利)可以基于公开信息估计 #11(headcount)和 #12(compute 分布),并开发 #8 的时间跟踪工具和 #6/#7 的标准化问卷。

作者自己也列了硬伤:多数指标是滞后指标,等指标报警时干预窗口可能已收窄;自动化与加速的关系可能高度非线性(13 个环节全自动化但卡在最后一个人类瓶颈上,指标读数很高而加速不明显,突破瓶颈那一刻指标只动一点点);数据基本要靠公司自报,难以核实——缓解方案是第三方 corroboration 和标准化采集协议。

关键结果

提出 14 个 AIRDA 指标,覆盖 extent / AI progress / oversight capacity / oversight achieved / oversight demand 五个维度,每个指标标注可行性(从 low 到 high)和信息敏感度。
核心论点:没有单一指标能代理 AIRDA,必须组合读——例如'AI 参与高风险决策上升(#7)+ AI 产出缺陷率上升(#9)'同时发生才是强警报。
最可行的起步项:#1(评测已普遍公开)、#4(misalignment 评测各家已在跑)、#13(capital share,财务数据现成);最难的是 #3(需要镜像生产环境的沙盒)和 #10(需要 subversion 检测基础设施)。
现有评测的缺口被点名:几乎全部集中在 software engineering,idea generation/curation 和 safety 研究任务(interpretability、red-teaming)基本没有评测覆盖。
作者引用的现状锚点:METR time-horizon(最强模型在人类专家需 1h10m 的任务上 80% 成功率)、Google 50% 新代码 AI 生成、Anthropic RSP 的 AI R&D 阈值('两年进展压缩到一年')——说明各家 safety framework 已有相关阈值,但都缺配套测量。
承认的关键局限:指标滞后、非线性(最后一个人类瓶颈问题)、公司自报难核实、跨公司口径不可比。

实证核查

扎实纯指标设计框架,没有实测数据可核,但引用的事实锚点经查属实、对自身局限的披露充分,没有超出内容的宣传。需要清醒:14 个指标目前没有任何一个被公开系统性地跟踪。

论文动机引用'Google 50% 新代码由 AI 生成'(Alphabet 2026 财报电话会)作为 AIRDA 已在发生的证据。

属实且偏保守:Alphabet 财报会先后披露 AI 生成代码占比 2024 约 25%、2025 约 50%,Pichai 最新说法已到 75%(Yahoo Finance / apiiro 对财报会的报道)。论文引用时点的 50% 数字没有夸大。

论文提出的 14 个指标'公司、政府、第三方应开始跟踪'。

这是建议而非现状。全文每个指标都带'What remains to be done'栏(见 source/main.tex 各 metric 小节),#3/#8/#9/#10 的可行性被作者自评为 low-moderate,即基础设施根本还不存在。S2 引用数 3(Google Scholar 约 6),发表约 6 个月内未见任何公司或第三方公开采纳这套指标的报道。它的价值是清单本身,不是已运转的测量体系。

摘要称指标能帮助决策者'理解 AIRDA 后果、实施安全措施、掌握 AI 发展速度'。

论文自己在 Limitations 一节承认了三个削弱点:多数指标是滞后指标、AIRDA 与加速的关系可能高度非线性(单一人类瓶颈问题)、数据依赖公司自报难核实(main.tex L763-778)。摘要与正文一致,没有回避这些问题,属于诚实的 position paper。

与我们方向的关系

对课题组的直接价值:这是目前把'RSI 是否已经在真实研发流程中发生'操作化得最细的一张清单。我们平时讨论 recursive self-improvement 大多停留在 benchmark(RE-Bench、MLE-bench)层面,这篇指出了 benchmark 之外的信号源:compute 流向 internal inference 的比例(#12)、capital share(#13)、headcount 变化(#11)——其中 #11/#12 第三方用公开信息(LinkedIn、算力支出估计)就能做,是可以直接借鉴的低成本研究选题。

另一个可借鉴的概念工具是 oversight gap = demand − achieved 的分解,以及'指标必须组合读'的原则(#7 + #9 同时恶化才是警报)。做 RSI 风险论证时,可以用这个框架代替笼统的'失控'叙事。配套可读 Toner (when_2026) 的专家共识梳理和 Erdil 'most of AI progress'(认为纯 AIRDA 不会加速)作为对立面。

阅读笔记

无代码无数据,tex 源即全文。作者是 GovAI 治理研究员(Alan Chan, Markus Anderljung)+ Oxford 哲学家 Hilary Greaves,不是 lab 内部人,所以对公司内部可行性的判断(如'compute 一定被精细追踪')属于合理推测而非一手信息。文中引用的 anthropic_system_2026 提到 Claude Opus 4.6 已饱和 Anthropic 全部 cyber 评测,这个细节可用于说明评测饱和速度。