OpenScholar: Synthesizing Scientific Literature with Retrieval-augmented LMs
这是什么
文献综合(literature synthesis)是让 LLM 回答'某方向都有哪些方法、各自如何比较'这类需要跨多篇论文汇总并给出准确引用的问题。直接问 GPT-4o 这类问题的致命伤是引用幻觉:本文测得 GPT-4o 在无检索时编造的参考文献占 78.7%(CS)到 94.8%(biomedicine),Llama 3.1 更高达 92-98%。OpenScholar 的思路是把整套 RAG 管线专门为科学文献重造一遍:专用数据库、专用检索器、专用生成模型,全部开源。
系统由三部分组成:OpenScholar-DataStore(peS2o 语料,45M 篇开放获取论文切成 234M 个 250 词 passage 并全部建好 embedding,自称是最大的开源科学文献检索库)、在科学语料上训练的 bi-encoder retriever(110M)+ cross-encoder reranker(340M)、以及生成模型(可以套 GPT-4o,也可以用他们训练的 Llama-3.1-8B 版本 OS-8B)。配套发布了 ScholarQABench:2,967 个专家写的查询 + 208 个长式答案,覆盖 CS、物理、神经科学、生物医学四个领域。
这项工作 2024 年 11 月放出 arXiv,2026 年被 Nature 接收(s41586-025-10072-4),是文献调研 agent 方向少有的经过顶刊同行评审的系统。它后来演化为 Ai2 的 Asta 平台的 report generation 能力,ScholarQA-CS 基准也演化为 AstaBench 里的 ScholarQA-CS2;检索索引后来通过 Semantic Scholar API 公开服务。
机制与做法
三路检索 + 重排
初始检索走三路:(1) 自训练 bi-encoder(在 peS2o 上对 Contriever 继续预训练)从 datastore 里取 top-100 passage;(2) 用 LM 从 query 生成关键词,走 Semantic Scholar Search API 按引用数取 top-10 论文摘要——这是为了绕开 S2 API 不擅长长问题式查询的限制;(3) You.com API 限定 arXiv/PubMed 做 web 搜索取 top-10,开放获取的抓全文。
候选池上百到上千条后,用 cross-encoder reranker 精排。reranker 是拿 Llama 3 70B 对合成 query-passage 对打 1-5 分(4/5 为正、1/2 为负)造训练数据,微调 BGE-reranker 得到的。精排时还有 meta-filtering:每篇论文最多 3 个 passage、把归一化引用数加进相关性分。消融显示 reranker 是最关键的组件:去掉后 OS-8B 在 ScholarQA-CS 的 citation F1 从 47.9 掉到 28.2。
自反馈迭代生成(self-feedback inference)
生成不是一步到位:LM 先产出初稿 y0,然后对自己的初稿生成至多 3 条自然语言 feedback(如'只覆盖了 QA 任务的结果,补充其他任务类型')。若 feedback 指出内容缺失,LM 同时生成新的检索 query,触发追加检索,再逐条吸收 feedback 更新答案。最后一步是 citation verification:检查每个需要引用支撑的陈述,缺引用的做事后插入。
有意思的消融结果:self-feedback 对 GPT-4o 帮助明显(去掉后 ScholarQA-CS correctness 从 57.7 掉到 55.1、citation F1 从 39.5 掉到 31.0),但对训练过的 8B 模型收益很小甚至持平——小模型的能力主要来自训练而不是推理时循环。
用推理管线自产训练数据
8B 模型的训练数据是系统自举出来的:从 peS2o 采样高引论文摘要,让 Llama 3.1 70B 生成文献调研式问题,再跑完整 OpenScholar 管线产出带引用的答案,连同中间产物(feedback、初稿)一起做成三类训练样本:答案生成、feedback 生成、feedback 吸收。
之后两步过滤:pairwise filtering(比较终稿 yT 与初稿 y0 留更好的——约 20% 的情况初稿反而更好,因为多轮迭代会过度编辑、变冗余)和 rubric filtering(organization 与 factual precision/citation accuracy 双维度打分,两项都 ≥4.5 才保留)。最终 13k 领域数据混入 Tulu 通用指令数据和 SciRIFF,保持科学:通用约 1:1(实际配比 Tulu 占 53.8%),共约 130k 条训练 Llama 3.1 8B 两个 epoch(8xA100)。
评测与人评
ScholarQABench 的单文任务复用 SciFact/PubMedQA/QASA,多文任务新标注:ScholarQA-CS 是 100 个问题、平均每题 4.4 条专家 rubric,correctness 按 rubric 打分(通用标准 40% + 标注标准 60%);citation F1 检查每条陈述是否被所引 passage 支撑。
人评规模不大但设计认真:16 位专家(博士生/博后/教授,时薪约 25-40 美元/任务)在 108 个问题上做细粒度打分 + pairwise 比较,标注者不评自己写的答案,inter-annotator agreement 0.68。结果 OS-GPT4o 对专家答案胜率 70%、OS-8B 50.8%,而裸 GPT-4o 只有 31.9%;胜因主要是 coverage(29% 的偏好解释提到)。
关键结果
- ScholarQA-CS(100 题)上 OS-8B correctness 51.1 / citation F1 47.9,超过 GPT-4o(45.0 / 0.1)、PaperQA2(45.6 / 48.0)和 Perplexity Pro(40.0);OS-GPT4o 达 57.7,比裸 GPT-4o 高 12.7 分。
- 无检索时引用幻觉触目惊心:GPT-4o 编造的参考文献占 78.7%(CS)/ 94.8%(biomed),Llama 3.1 70B 为 78.1% / 96.6%;OS-8B 为 0%——但这本质上是'有无检索'的对比,不是模型能力对比。
- 成本:OS-8B 每 query 约 $0.003,OS-GPT4o 约 $0.05,而 PaperQA2(GPT-4o 后端)每 query $0.3-2.3,便宜两个数量级。
- 消融:去掉 reranker 伤害最大(OS-8B citation F1 47.9→28.2,OS-GPT4o 39.5→22.9);去掉 8B 的领域训练 correctness 51.3→49.4;self-feedback 对 GPT-4o 有效、对训练过的 8B 几乎无效。
- 上下文利用:vanilla Llama 3.1 8B 在 top-N 超过 10 后 correctness 与 citation F1 双降(citation F1 低至 ~10),训练后的 8B 能稳定用到 N=20(citation F1 维持 ~40)——小模型'能吃长上下文'和'会用长上下文'是两回事。
- 人评中 OS-8B/OS-GPT4o 分别在 50.8%/70% 的问题上胜过专家手写答案,被评为 useful 的比例 72%/80%;但模型答案比人写的长 2.0-2.4 倍,作者在 50 题上做了长度控制实验(压到 ~333 词后仍 75% 胜或平)部分排除了长度混淆。
- 训练数据自举有效:仅 13k 领域合成数据(混通用数据后 130k)就让 8B 达到上述水平;过滤时发现约 20% 情况下多轮 self-feedback 的终稿不如初稿。
实证核查
与我们方向的关系
对做文献调研 agent 的组来说这是目前最完整的开源基础设施:45M 论文的 datastore(embedding 已建好)、训好的科学域 retriever/reranker、13k 高质量训练数据、以及 ScholarQABench 评测集,每一件都可以单独拆出来用。特别是想自己训领域 RAG 模型的话,'用推理管线自举训练数据 + pairwise/rubric 双重过滤'这套流程可以直接照搬,13k 数据就见效说明门槛不高。
两个反直觉结论值得记住:(1) reranker 比 self-feedback 循环重要得多,推理时的花哨迭代对训练过的小模型收益趋近于零——算力预算应该优先给检索质量和训练,而不是 agentic loop;(2) 论文评测里'战胜人类专家'的胜率主要由 coverage 驱动且受答案长度混淆影响,自己设计人评时要做长度控制。另外它已演化为 Asta/AstaBench 生态,后续跟进应看 DR Tulu 和 ScholarQA-CS2。