Can LLMs Generate Novel Research Ideas? A Large-Scale Human Study with 100+ NLP Researchers
这是什么
2024 年前后出现了一批'AI 研究员'系统(AI Scientist、ResearchAgent 等),但没有人严格回答过最基本的问题:LLM 生成的研究想法,质量到底比得上人类专家吗?此前的评估要么用 LLM 当裁判,要么找几个作者自己打分,样本小、混淆变量多,结论不可信。
这篇论文的贡献主要不在 agent 本身(作者刻意用了极简设计),而在实验设计:招募 100+ 名真实 NLP 研究者,在 7 个固定话题(Bias、Coding、Safety、Multilingual、Factuality、Math、Uncertainty)下,让 49 位专家各写一个 idea,与 LLM agent 生成的 idea 做三条件盲评对比(Human / AI / AI + 人工重排),并对写作风格做标准化处理以防泄露来源。79 位评审(72 人有正式会议审稿经验)共产出 298 份盲审。
结论分两面:正面是 AI 想法的 novelty 和 excitement 显著更高,这是 LLM 想法生成能力第一个有统计效力的正面证据;反面是论文用自己的数据拆穿了两个流行假设——靠 over-generate 无限刷想法行不通(重复率随规模暴涨),靠 LLM-as-a-judge 自动评想法也行不通(一致性低于人类互评)。发表于 ICLR 2025(OpenReview: M23dTGWCZy)。
机制与做法
极简 ideation agent:检索 + 过量生成 + 排序
Agent 只有三个模块,骨干模型是 claude-3-5-sonnet-20240620。(1) Paper retrieval:让 LLM 生成 Semantic Scholar API 调用序列(KeywordQuery / PaperQuery / GetReferences),检索至多 120 篇相关论文,再让 LLM 按相关性、是否实证论文、启发性打 1-10 分重排;(2) Idea generation:每个话题过量生成 4000 个种子想法,prompt 里放 6 个人工总结的示范样例 + 随机抽 10 篇检索到的论文摘要做 RAG,并附上已生成想法的标题防止重复;(3) 用 all-MiniLM-L6-v2 句向量、0.8 余弦相似度阈值去重——去重后只剩约 5% 的不重复想法。
LLM ranker:拿 ICLR 审稿数据校准的 Swiss tournament
直接让 LLM 给 idea 打分校准很差,于是作者爬了 1200 篇 ICLR 2024 LLM 相关投稿做代理基准,改成成对比较:Claude-3.5-Sonnet zero-shot 判断'哪篇被接收'达到 71.4%(GPT-4o 只有 61.1%)。实际排序用 Swiss tournament:每轮把累计分相近的 proposal 配对比较,赢者加 1 分,跑 N=5 轮。Sanity check:用该 ranker 排 1.2K ICLR 投稿,top-10 与 bottom-10 的真实平均审稿分差 1.73 分,说明排序有信号但远非完美。
因为 ranker 不可靠,又加了第三个条件 AI Ideas + Human Rerank:一作亲自从生成池里重挑 49 个。结果这个条件与 LLM ranker 挑的只有 17/49 重叠——LLM 排序和人类专家眼光差距很大,这本身就是一个 finding。
人类研究的控制变量
招募渠道包括 1426 人的 OpenNLP Slack、Twitter、NAACL 2024 现场(作者穿着印二维码的 T 恤发名片)。49 位 idea 写作者来自 26 个机构、73% 是 PhD 在读,每人 10 天写一个 idea,报酬 $300,前 5 名另有 $1000 奖金;79 位评审来自 32 个机构,每份评审 $25,共收 298 份,保证没人评自己的 idea。
控制混淆的手段:三个条件匹配相同的话题分布;所有 idea 套统一的 project proposal 模板;用 LLM 对全部 idea 做风格标准化(消除人味/AI 味的写作线索);统计上跑三种检验——把每份 review、每个 idea、每个 reviewer 分别当独立样本,外加 linear mixed-effects model,novelty 的显著性在所有检验下都成立。
反向发现:多样性瓶颈与自评失灵
多样性:随着生成量增加,新 batch 里不重复想法的比例迅速跌向 0,4000 个种子想法累计只有约 200 个不重复——over-generate-and-rank 的 inference scaling 很快撞墙,继续采样只是复读。
自评:用人类评审分数排出 top/bottom 25% 的 idea 当金标准,测各种 LLM 评审器的判别准确率:GPT-4o 直接打分 50.0%(随机水平)、Claude-3.5 成对比较 53.3%、AI Scientist 的 reviewer agent 只有 43.3%(低于随机,且远低于其自报的 65%)——全部低于人类评审互评一致性 56.1%(NeurIPS'21 实验为 66.0%)。这条结果直接质疑了当时大量靠 LLM-as-a-judge 评 idea 的工作。
关键结果
- Novelty:AI Ideas 5.64、AI+Human Rerank 5.81,显著高于 Human Ideas 4.84(10 分制,Welch's t-test + Bonferroni,p<0.01);按 idea 聚合(N=49/条件)和按 reviewer 聚合两种检验下依然显著。
- Excitement 也显著更高(5.19/5.46 vs 4.55);Feasibility 人类略占优(6.61 vs 6.34/6.44)但不显著;Overall 只有 Human Rerank 条件显著(5.34 vs 4.68,p<0.05)。
- 评审重心失衡:overall 分与 novelty(r=0.725)、excitement(r=0.854)强相关,与 feasibility 几乎无关(r=0.097)——盲评 idea 时大家基本在打'新不新颖、兴不兴奋'。
- 人类基线是'中位数水平':37/49 的专家是现场临时想的 idea,自评提交的想法只排自己历史想法的 top 43% 左右。
- LLM 生成多样性瓶颈:4000 个种子想法去重后仅约 200 个(5%),不重复想法数随生成量增长很快平台化。
- LLM 自评不可靠:最好的 LLM 评审器(Claude-3.5 pairwise)与人类金标准一致性仅 53.3%,低于人类互评 56.1%;AI Scientist reviewer 在此分布外数据上只有 43.3%。
- 本研究评审互评一致性 56.1%,低于 NeurIPS'21 的 66.0% 和 ICLR 2024 的 71.9%——评 idea 本身比评论文更主观。
实证核查
与我们方向的关系
对 autoresearch 方向这是必须精读的方法论基石:它定义了评估 idea 生成的严谨范式(盲评 + 风格标准化 + 话题匹配 + 多重统计检验),之后几乎所有 ideation 工作都拿它当基线或引它的结论。做自动科研 agent 的评估设计时,这里的 review 表单、三条件设置、评审一致性度量都可以直接借鉴;reviews_ideation/ 里 298 份带文字理由的专家盲审本身就是训练/校准 idea 评审器的稀缺数据。
两个反向发现对系统设计更有操作性:(1) over-generate-and-rank 的多样性瓶颈说明想法生成的 scaling 需要显式多样性机制(不同检索种子、多 persona、进化式变异),不能只靠加采样;(2) LLM-as-a-judge 在 idea 评估上低于人类互评一致性,意味着任何'我们的 agent 想法被 GPT-4 评为更好'式的结论都应默认存疑。另外读这篇必须配套读 2506.20803:ideation 阶段的 novelty 溢价在执行后消失,提示课题组如果做 idea 生成研究,评估终点应该尽量往执行结果靠。