The Ideation-Execution Gap: Execution Outcomes of LLM-Generated versus Human Research Ideas
这是什么
这是 Si, Hashimoto, Yang 上一篇 ICLR 2025 工作《Can LLMs Generate Novel Research Ideas?》(arXiv 2409.04109)的直接后续。上一篇的结论是:在只看 idea proposal 的盲审中,基于 Claude-3.5-Sonnet 的 ideation agent 生成的想法在 novelty 上显著高于 100+ 位 NLP 研究者写的想法。但那只是'看起来新颖'——一个好想法应该在执行之后产出更好的研究,而不是停留在 proposal 里好看。
这篇就是把这批想法真正做出来:43 位有研究经验的参与者(人均 Google Scholar 15 篇左右论文)被随机分配一个匿名想法(19 个人类想法、24 个 AI 想法,覆盖 7 个 NLP 话题),在三个月窗口内实现全部实验并写成 4 页 ACL 格式短文,人均花费约 103 小时。之后 58 位专家评审对每个项目写 4-5 份盲审(共 181 份),再与 ideation 阶段的评分对比。整个设计是预注册的 RCT(OSF: ckxtp),评审对想法来源双盲。
核心发现被命名为 ideation-execution gap:AI 想法在 ideation 阶段全面显著高于人类想法,但执行之后 novelty/excitement/effectiveness/overall 分别掉 1.05/1.76/1.88/1.98 分,而人类想法基本持平(-0.01/+0.08/-0.05/-0.63),差异在全部四项指标上显著(p<0.05, FDR 校正)。执行后 AI 想法在所有指标上均低于人类想法——排名翻转。这给'LLM 想法比人类更新颖'的叙事补上了关键的另一半:光评 idea 文本会系统性高估 LLM 想法。
机制与做法
执行实验设计:如何做一个想法执行的 RCT
想法直接复用上一篇 ideation study 的人类/AI 两个 condition(当时就刻意 scope 成三个月内可执行的 prompting 类研究)。66 人 onboard、43 人完成,参与者先选偏好话题、再在话题内随机分配人类或 AI 想法,避免自选高质量想法的 selection bias。报酬为 $20/小时 + $600 完成奖金 + 报销全部算力开销,且执行者拥有项目所有权、可以继续发展成正式投稿(确实有多个项目后来变成了论文,如 AegisLLM、PolyPrompt)。
为了保证评的是'原始想法'而非执行者的再创作,规则是:禁止对方法本身做实质修改,只允许改实验细节(数据集、baseline、超参等),且所有修改必须书面报备、由作者逐条人工审核。全程只有 1 个项目因想法过于含糊无法执行而被终止剔除。
评审:181 份盲审 + 两个控制指标
58 位评审(人均 597 引用)对 43 个项目共写 181 份盲审,每份约 52 分钟、报酬 $50,评审表与 ideation study 尽量对齐:novelty、excitement、soundness、effectiveness、overall(1-10)。评审能看到论文和完整代码库。
关键的对照设计是两个 control metrics:faithfulness(执行是否忠实于原想法,6.48 vs 6.42)和 codebase quality(3.58 vs 3.58),两个 condition 几乎相同——排除了'AI 想法掉分是因为被执行得更差'这一混淆解释。
核心度量:用 pre/post 差分吃掉想法异质性
直接比较执行后的人类 vs AI 平均分,在 N=43(每个想法算一个数据点)下统计功效不够:AI 想法虽然在所有指标上低于人类(如 excitement 3.90 vs 4.48),但 p 值都在 0.175-0.586,不显著。论文对此很坦率,承认预注册假设('执行分数有显著差异')没能被直接确认。
真正的统计信号来自差分:同一个想法在 ideation 和 execution 两个阶段各有评分,取 gap = 执行分 - ideation 分,可以控制掉想法质量本身的巨大方差。这个 ideation-execution gap 在人类和 AI 想法之间的差异在四项指标上全部显著(novelty p=0.025,excitement p=0.001,effectiveness p=0.003,overall p=0.004,均 FDR 校正)。另外若把每份 review 当独立数据点(N=181),执行后人类想法在 excitement/effectiveness/soundness/overall 上也显著更高(p=0.01),只有 novelty 不显著(p=0.21)。
归因:掉分从哪来
第一个假设是执行者改了 AI 想法导致失真——数据不支持:人类/AI 想法平均只被改 2.9/3.1 处,全是实验细节。唯一系统性的例外是 6 个 AI 想法把原提案里'招募母语者/专家做人工评测'降级成 LLM-as-a-judge(AI 想法爱提无法负担的人工评测,这正是 ideation 阶段 excitement 高分的来源之一);但把这 6 个想法剔除后所有结论不变,说明这只解释了 gap 的一小部分。
更主要的解释是评审关注点的系统性变化:作者把 181 份评审意见人工归类为 10 类因素,发现 ideation 评审几乎只看 novelty/motivation(80%+)且经常'假设实验会成功'地打分,而 execution 评审 93% 会看 empirical performance(ideation 阶段为 0)、60% 会挑实验设计毛病(ideation 约 25%),baseline、ablation、资源开销、泛化性等此前被完全忽略的弱点都暴露出来。换句话说:没有执行结果时,评审对'这个想法做出来会不会 work'的判断基本是猜的——ideation 分数与执行分数的相关性很弱,AI 想法的 excitement 甚至呈中度负相关。
关键结果
- AI 想法执行后掉分幅度(1-10 制):novelty -1.05、excitement -1.76、effectiveness -1.88、overall -1.98;人类想法对应为 -0.01、+0.08、-0.05、-0.63。两者 gap 的差异在四项指标全部显著(FDR 校正后 p=0.025/0.001/0.003/0.004)。
- 排名翻转:ideation 阶段 AI 想法四项指标全面显著高于人类(如 effectiveness 6.00 vs 4.83),执行后全面低于人类(4.13 vs 4.78)——但执行后的直接差异在 N=43 想法级别不显著,只有按 181 份 review 聚合时 excitement/effectiveness/soundness/overall 显著(p=0.01)。
- 控制指标排除执行质量混淆:faithfulness 6.48 vs 6.42、codebase quality 3.58 vs 3.58,人类/AI 两组几乎无差别。
- 对想法的修改不解释 gap:人均仅 2.9/3.1 处修改且全为实验细节;6 个 AI 想法的'人工评测→LLM judge'降级被单独剔除后结论不变。
- 评审关注点变化是主因:execution 评审 93% 提及 empirical performance(ideation 为 0%)、60% 提及实验设计问题(ideation 约 25%);ideation 分与 execution 分相关性弱,AI 想法的 excitement 甚至中度负相关——说明不执行就评 idea 的可靠性很低。
- AI 想法的典型失败模式:提出听起来激动人心但不可负担的评测方案(大规模人工标注)、方法实测无效('does not show marked improvements over a basic empathy prompting approach')、缺 baseline 和分析、计算开销大。
- 参与规模与成本:43 位执行者人均约 103 小时、$20/h + $600 奖金;58 位评审 181 份 review、每份 $50——这类执行研究极其昂贵,这也是为什么此前没人做过。
实证核查
与我们方向的关系
对做 autoresearch 的同学,这篇几乎是必须内化的方法论警钟:任何'LLM 想法被评为更新颖/更好'的结果,如果评的只是 idea 文本(无论人评还是 LLM judge),都要默认存在 1-2 分量级的执行折价,且折价对 AI 想法系统性更大。原因论文说得很清楚——不执行时评审在'假设实验会成功'的前提下打分,而 AI 想法恰好擅长生成这种听起来成立但实测不 work、或方案不可负担的提案。这直接质疑了大量用 idea-level 评分做 reward 或做 benchmark 的工作。
可借鉴的具体资产:(1) 差分设计——pre/post 执行评分之差能吃掉想法异质性,让 N=43 也出显著信号,做小样本人类实验值得学;(2) faithfulness/codebase quality 双控制指标排除执行质量混淆的写法;(3) 公开的 181 份含 rationale 的评审数据 + 43 个完整项目(论文/代码库/修改记录),可以直接拿来训练或评测'执行结果预测器'(proxy reward model)——论文 Future Work 点名了这个方向,也是把 gap 变成可优化目标的最现实路径。