ResearchAgent: Iterative Research Idea Generation over Scientific Literature with Large Language Models
这是什么
这篇 2024 年 4 月挂出的论文是'LLM 生成研究 idea'方向的早期代表作之一。它把 research idea generation 形式化为三步:problem identification、method development、experiment design,即 o = [p, m, d],并明确只做 ideation 这一段,不做后续的实验执行——和后来做全流程的 AI Scientist 类工作定位不同。
核心动机来自对人类科研的三个观察:研究者靠精读相关文献建立深度理解、靠跨领域概念联想产生新组合、靠同行评审迭代改进草稿。ResearchAgent 分别用引文图检索、实体共现知识库、多个 LLM reviewer agent 来模拟这三件事。论文的说法是'新 idea 往往是旧元素的新组合',所以系统被设计成从已有文献里做受控的组合与外推。
实验用 GPT-4(2023-11-06 版)作为底座,选 2023 年 5 月之后发表、引用超 20 的 300 篇论文作核心论文(刻意避开 GPT-4 训练截止,防数据泄漏),评测采用 GPT-4-as-judge 加 10 位领域专家人评。
机制与做法
两路知识增强:引文图 + 实体共现知识库
第一路模拟文献调研:给定核心论文 l0,沿 Semantic Scholar 引文图取直接相连的论文,再按摘要相似度筛一遍,把 {l0, l1, ..., ln} 塞进 prompt(每篇核心论文平均有 87 篇参考文献,必须筛)。
第二路是本文比较有特色的 entity-centric knowledge store:用 BLINK entity linker 对 2023-05 到 2023-12 的 50,091 篇论文的标题摘要抽实体,建一个 m×m 的稀疏共现矩阵。生成时,先取出当前论文组已有的实体集合,再按共现概率 P(e_j|e_i)×P(e_i) 检索 top-k 个'相关但不在当前论文里'的外部实体注入 prompt——目的是引入跨领域概念,比如给 hematology 的 idea 建议 'database'、给遗传学论文检索出 CRISPR。消融显示两路各有贡献,references 贡献更大;有趣的是随机实体也比不给实体好。
ReviewingAgents:人类偏好对齐的迭代评审
problem/method/experiment 各配 5 项评审标准(如 problem 的 Clarity/Relevance/Originality/Feasibility/Significance),由多个 LLM reviewer 并行打分并给出针对低分项的 feedback,ResearchAgent 据此改写,如此循环。实验显示分数在第 3 轮迭代左右饱和,再往后收益递减。
评审标准不是人手写的:作者先让至少发过 3 篇论文的研究者对每个 criterion 标注 10 对 idea 的 5 分制评分,再 prompt LLM 从这些人类评分里归纳出详细的评分标准描述,声称这样能让 GPT-4 judge 的分数分布更接近人类分布(论文 Figure 里确实展示了对齐后分布偏度改善)。
评测设计与主要局限
没有 ground truth,全靠 reference-free 评测:GPT-4 按 15 项标准打 5 分制 + pairwise 对比,外加 10 位专家只评'基于自己论文生成的 idea'(保证懂行)。20% 样本双人标注,Spearman/Cohen's kappa 一致性较高;human-model agreement 也不低,作者以此论证 GPT-4 judge 可用。
换底座模型的实验值得注意:用 Llama-3、Mixtral、Qwen1.5、GPT-3.5 时性能显著下降,且知识增强带来的增益在弱模型上变得微弱——整套框架的收益相当依赖 GPT-4 级别的长上下文推理能力。
关键结果
- 人评与 GPT-4 评均显示:full ResearchAgent 在 problem/method/experiment 全部 15 项指标上超过 Naive(只给核心论文)和 w/o Entity Retrieval 两个 baseline,创造性类指标(Originality、Innovativeness)提升最明显,pairwise 胜率也最高。
- 迭代评审前 2-3 轮有效,problem 平均分从约 4.33 升到约 4.53 后饱和,继续迭代收益递减。
- 消融:去掉 references 或 entities 都掉分,references 更关键;给随机实体也比不给强,作者归因于 LLM 能过滤噪声。
- 核心论文引用数越高,生成 idea 的评分越高——高影响力论文更容易被挖出 research gap。
- 评审标准从每 criterion 仅 10 对人类标注中归纳;5 位标注者对归纳出的标准 2 人强同意、3 人中等同意。
- 换弱模型(Mixtral、GPT-3.5)后知识增强增益变得 marginal,框架收益强依赖 GPT-4 级底座。
实证核查
与我们方向的关系
对课题组的 auto-research 方向,这篇是 idea generation 子问题的标准引用点(NAACL 2025,引用 239)。可直接借鉴的组件有两个:一是把 ideation 拆成 problem→method→experiment 三段、每段配独立 validator 的分解方式,比一把梭生成完整 proposal 更可控;二是'从少量人类标注归纳评审 rubric 再交给 LLM judge'的对齐做法,成本低,适合我们自己搭评测时参考——但要吸取教训,10 对标注太少,分布对齐不等于判断对齐。
同样值得记住它的反面教材价值:迭代 refinement 约 3 轮饱和(和 self-refine 类工作一致),多轮历史拼接会爆上下文(issue #5),弱模型上知识增强增益消失。如果我们做 idea agent,评测必须引入论文查重/检索式 novelty 核查和更大规模盲评,否则会重蹈'GPT-4 自产自评'的可信度问题;对照可读 Si et al. 2024 的人类大规模盲评设计。