PaperQA2: Language agents achieve superhuman synthesis of scientific knowledge
这是什么
PaperQA2 是 FutureHouse 做的面向科学文献的 agentic RAG 系统:不是一次性 retrieve-then-generate,而是把检索拆成工具(Paper Search、Gather Evidence、Citation Traversal、Generate Answer),由一个 LLM agent 自主决定调用顺序、必要时改写关键词重搜。论文核心卖点是一套「人机同题对比」的评测方法:找一批生物学 PhD/在读博士,给钱、给一周时间、不限工具,和系统做同样的文献任务,直接比 precision/accuracy。
评测覆盖三个任务:(1) LitQA2——248 道多选题,答案刻意设计在论文正文而非摘要中,靠比对引用 DOI 判分;(2) WikiCrow——用多次 PaperQA2 调用拼出人类蛋白编码基因的 Wikipedia 风格综述,与真实 Wikipedia 条目盲评对比;(3) ContraCrow——从论文抽取 claim,逐条问「文献里有没有矛盾证据」,输出 11 级 Likert 分。三个系统共享同一个 PaperQA2 底座,只换 prompt 配置(仓库里对应 wikicrow/contracrow 两套 bundled settings)。
对课题组来说它的意义是双重的:一份至今仍在维护的可用工具(pip install paper-qa,支持 LiteLLM 全系模型、本地 embedding、多模态 PDF 解析),以及一套「如何严肃地和领域专家对比」的评测范式——这在 2024 年的文献 agent 论文里是少见的。
机制与做法
四工具 agent 循环与 RCS
agent(默认 GPT-4 系列做 tool selection)把用户问题转成关键词查询走 Paper Search,候选论文解析分块入库;Gather Evidence 先做 top-k(默认 30)稠密向量召回,再做 LLM reranking and contextual summarization(RCS):每个 chunk 由 summary LLM 针对当前问题写约 100 词摘要并打相关性分,只有高分摘要进入最终 context。RCS 是和 Perplexity/Elicit 这类「直接塞原文片段」系统的关键差异,消融显示去掉 RCS model 后 accuracy 从 66.0 掉到 55.4(p<0.001)。
有意思的细节:RCS 只有配大模型才有用——GPT-3.5-Turbo 或 Llama3-70B 做 RCS 反而比完全不用 RCS 更差(53.2/32.0 vs 55.4),作者称之为 comprehension threshold。agent 本身也有增量:换成写死 search→gather→answer 顺序的 No Agent 版,accuracy 掉到 50.9;实际运行中 agent 平均每题 1.26 次搜索、0.46 次 citation traversal。
Citation Traversal 与 LitQA2 的设计
新增的 Citation Traversal 工具把已确认相关的 chunk 的引用/被引论文拉进语料,相当于用引文图做层次索引;消融掉之后各阶段 DOI recall 都显著下降(search recall 69.9%→63 左右)。注意:README 的 FAQ 明确说这个工具在开源仓库里还没有,属于内部版本。
LitQA2 的出题纪律值得借鉴:答案必须只出现在某篇近期论文的正文里(摘要里搜不到),先用现有 AI 系统和人工标注排掉能从别处答出来的题;允许选「信息不足」,同时报 precision(答了的对多少)和 accuracy(全部题对多少)。为防对基准过拟合,工程改动基本完成后新出了 101 道题,前 147 题和后 101 题上 accuracy 无显著差异。
WikiCrow 与 ContraCrow
WikiCrow 生成 240 篇基因文章(平均 1219 词、491 秒、$4.48/篇),从中抽 375 条陈述与配对 Wikipedia 条目盲评:cited-and-unsupported 比例 13.5% vs Wikipedia 的 24.9%,漏引率 3.5% vs 13.6%,cited 陈述 precision 86.1% vs 71.2%。错误归因分析显示优势主要来自 reasoning 错误更少(12 vs 26),attribution 错误相当。
ContraCrow 在 93 篇随机生物论文上平均每篇抽 35.16 条 claim,阈值 8 分以上判矛盾,平均每篇 2.34 条;专家复核 100 条中 70% 认可,折合每篇 1.64 条「可被人类确认的矛盾」。在自建的 ContraDetect 基准上 ROC AUC 0.842、precision 88%;对 42 条从未被报道过的 no-evidence 陈述,98% 正确选了 lack of evidence 而非误报矛盾。
关键结果
- LitQA2:PaperQA2 precision 85.2%±1.1 vs 人类专家 73.8%±9.6(p=0.0036,显著超人);accuracy 66.0%±1.2 vs 67.7%±11.9(p=0.66,与人无显著差异)。每题平均读 14.5 篇论文,21.9% 的题选择「信息不足」。
- 对比系统:Perplexity Pro precision 69.7/accuracy 52.0,Elicit 40.9/25.9,非 RAG 前沿模型(GPT-4o、Claude-Opus 等)accuracy 全在 5-26% 区间——不做全文检索基本答不了这类题。
- 消融:No RCS 55.4、No Agent 50.9、小模型做 RCS 更糟(Llama3-70B 32.0);RCS 排序深度从 1 加到 10 显著涨分,10 到 30 收益递减。Grobid 解析和更大 chunk 对 LitQA2 无显著影响(检索任务只要命中单段即可),但作者说表格抽取类任务(WikiCrow)解析质量很关键。
- WikiCrow 比人写 Wikipedia 更「有据」:无支持引用的陈述 13.5% vs 24.9%,漏引 3.5% vs 13.6%;成本 $4.48/篇、约 8 分钟。
- ContraCrow:93 篇论文 3180 条 claim 中 6.85% 被判矛盾;人类确认率 70%,给出「生物文献平均每篇至少 1.64 个可确认矛盾」的下界。
- 成本:单次查询 $1-3(作者自述,比商业系统贵但绝对值不高)。
实证核查
与我们方向的关系
对做 autoresearch 的同学,PaperQA2 是文献调研环节的默认起点:pip 装完即可对本地 PDF 目录做带引用的问答,Settings 全部可配(LLM、embedding、RCS 深度、prompt),bundled settings 里 fast/high_quality/contracrow 可以直接当消融基线用。它的 RCS(先按 query 重写摘要再排序)和 agentic 重搜两个设计,消融数字明确,值得在自己的检索 pipeline 里对照实现。
更值得抄的是评测方法而非系统:LitQA2 式「答案只在正文、DOI 判分、允许弃答、分报 precision/accuracy」的出题纪律,加上 held-out 新题防过拟合、真人同题带激励对比——如果我们要声称自己的 agent 在某任务上达到什么水平,这是目前文献综述类工作里最可信的模板。同时注意它的教训:headline 用了 superhuman,细看只有 precision 超人,这种表述方式在评审和传播里都会被挑战。