AI Researchers' Views on Automating AI R&D and Intelligence Explosions (Interviewing AI researchers on automation of AI R&D)
这是什么
这是一项定性访谈研究(qualitative interview study),不是 benchmark 也不是推演模型。作者在 2025 年 8-9 月访谈了 25 位研究员:7 位现任 frontier lab(定义为 xAI/Meta/GDM/OpenAI/Anthropic)研究员、4 位前 frontier lab 研究员、9 位学术界(教授到 PhD)、3 位业界、2 位非营利机构研究者。每场 40-60 分钟,匿名处理,主题围绕 ASARA(AI Systems for AI R&D Automation,'能实质性参与前沿模型开发的 AI 系统')的形态、部署方式、路径约束、风险和 red lines。
研究想回答四个问题:研究员如何设想 AI 自动化 AI 研究、关键 milestone 是什么;对 intelligence explosion 场景的分歧在哪;AI 自动化研发带来什么具体风险;以及对治理手段(尤其 red lines)的看法。相比之前 Owen(8 人)和 Leibowich et al.(5 人)聚焦瓶颈和能力预测的访谈,这篇的重心在风险、缓解措施和组织行为。
注意:catalog 里挂的 Epoch AI 链接(interviewing-ai-researchers-on-automation-of-ai-rnd)其实是另一篇 2024 年 David Owen 的 8 人访谈报告,与本条 arXiv 论文(Field/Douglas/Krueger,MATS 资助)是两个不同但同主题的工作,后者在 Related Work 里引用了前者。两篇可以对照着读。
机制与做法
取样与访谈设计
共邀请 182 人,25 人接受(响应率约 14%)。三条招募渠道:Google Scholar 按 'recursive self-improvement'、'AI R&D Automation' 等关键词找发过相关论文的作者(7 人);NeurIPS/ICLR 2024 相关 workshop(DL4C、Agentic AI for Science、Self-Improving Foundation Models 等)的作者(8 人);滚雪球 + MATS 项目人脉(10 人)。作者明确说刻意纳入了反对观点,但取样不是随机的。
访谈协议分三段:ASARA 会是什么样、走什么轨迹;组织动态(公开 vs 内部部署、各方会如何反应);风险与治理(缓解措施、red lines)。常追问'什么证据会让你改变看法',逼出可观察的 milestone。
编码分析:人工归纳 + Claude 辅助分类
转录用私有 Whisper/Otter.AI,去标识化后由第一作者独自做归纳式编码(inductive coding),相似概念聚成 code 再归主题——没有第二编码员,未计算 inter-rater reliability。
论文里 4 张分类图(部署预期、轨迹清晰度、风险优先级、red lines 立场)的分类是 AI 辅助完成的:把匿名转录逐份喂给 Claude,用结构化 prompt 判定受访者立场(允许 'unsure'),prompt 样例在附录。这个做法省人力但引入了模型判读误差,论文没有报告人工抽查的一致率。
核心结果结构
路径共识:17/25 描述了'先是超强 coding 模型 → 几乎就是超强 ML R&D'的三阶段进程——research speedup(工具提效,人是 oversight)→ collaboration(AI 自主做子任务)→ full loop automation(人变成瓶颈,公司会想办法把人移出回路)。4 份转录独立提出 METR 式 task horizon(从 1-2 小时到 40+ 小时任务)是追踪 ASARA 的核心可观察指标。
瓶颈判断:11 份访谈提到 compute 是限制因素,5 份提到 data('data 决定 self-improvement 的天花板',P3);15 人区分 ideation vs execution,普遍认为前者(research taste)更难,其中两人进一步指出真瓶颈不是'生成想法'而是'validation——从大量平庸想法里挑出好的',因为人类专家自己都做不好,而 ML 模型学的是数据的众数而非长尾。
治理态度:对 red lines 意见分裂,三大落地难题——specification(阈值越具体越偏离真实风险)、verification/enforcement('让人验证合规是噩梦',且可能需要威权级监控)、timing(定早了拖累有益进展,定晚了没用)。几乎所有人都更支持 transparency 类措施:强制报告 R&D 自动化进展、提高 internal deployment 可见性。
关键结果
- 路径收敛、时间线分裂:17/25 认同 'coding → 自主 AI developer' 的渐进路径;除 2 人外都愿意把 intelligence explosion 当作自动化 AI 研究的自然后果来讨论,但对何时、多快毫无共识。
- 内部部署预期:在明确回答的 20 人中,一半预期 lab 会把能加速 AI 研究的模型留在内部,只有 20% 预期公开部署。留内部的理由:保竞争优势(12 份转录)、compute 有限('10 万美元的算力可能值 100 万美元的研究员工资',P10)、防蒸馏/扩散(6 份);会公开的理由:融资压力('lab 每年要再融 200 亿美元',P23)、政府介入('FBI 会去抄家',P4)。
- 认知鸿沟:frontier lab 研究员多认为轨迹清晰、内部日常讨论 recursive improvement 且受高层鼓励;学术界更多认为有 major obstacles,且'谈这个会被当 crackpot、可能丢 funding'(P18/P7)。lab 一侧归因于'亲身经历过两年前的反对论点全被证伪',学术一侧指出 lab 面向投资人有夸大能力的动机、以及'信 AGI 的人自我选择进了 lab'。
- 风险感知(按论文自己的图 3):11/25 minimal concern(以学术界为主)、7/25 serious risk、7/25 认为是 primary AI risk;18 份转录把 ASARA 视为'meta risk'——'递归自我改进全面放大所有其他风险'(P2),17 份担心 adaptation lag(监管和人类理解跟不上)。只有 2 人明确否定递归自我改进的可能性。
- 文化差异:中国研究员(P12)反馈国内社区对 intelligence explosion 普遍不信、公司'非常应用导向,就想用 AI 赚钱';德国/英国视角也比'硅谷心态'怀疑得多。
- red lines 分裂但 transparency 共识:支持者也承认 specification/enforcement/timing 三大难题;5 人未被问及就主动表达'宁要强制报告和监测,不要硬性 red line'(P25),P4 认为固定阈值机会成本太大、事后会显得'很蠢'。
实证核查
与我们方向的关系
对课题组'研发自动化度量'方向,这篇的直接价值是提供了一份从业者自己认可的可观察 milestone 清单:METR 式 task horizon 被多位受访者独立当作核心指标('到 40 小时 task horizon 也许还要五次翻倍',P1)、'一次生成 1 万行全对的代码'、10x researcher uplift、以及'lab 开始把最强模型只留内部用'本身被当作一个 milestone。这些可以直接当作我们论证'为什么要度量 AI R&D 自动化'的一手引证。
更值得借鉴的是 ideation/execution 的拆分:15 人认为瓶颈在 research taste 一侧,而其中最锐利的观点是瓶颈其实是 validation(判别好想法)而非生成想法——这正好对应到自动化评测里'AI 能否给研究想法/实验结果打分'这类任务的设计。用时注意本条 reality 部分:摘要的 20/25、17/25 两个数字与论文自图不符,引用时应引正文和图的数字(风险感知 14/25 serious+primary、部署预期 10/20 keep internal)而不是摘要。