Large language models for automated scholarly paper review: A survey
这是什么
这篇综述来自 Lin Jialiang 等人(厦门大学/广州理工背景),是他们 2023 年那篇 pre-LLM 时代 ASPR 综述的续篇,发表在 Information Fusion(Vol. 124, 103332),arXiv v1 2025-01,v2 2025-06,S2 引用 89。核心问题:LLM 进来之后,自动同行评审这件事的技术栈、资源和生态发生了什么变化。
结构上按'用什么模型 → LLM 解了哪些老瓶颈(长文本、多模态、多轮对话、即时知识)→ 三类生成方法(prompt engineering / SFT / multi-agent)→ 新数据集 → 开源代码与在线系统 → LLM 能增强评审的六个环节 → 五类现存问题 → 出版商政策 → 学界建议 → 挑战与方向'展开。注意作者立场:结论里明确写'we are confident that in the near future, the publishers will adopt ASPR with an open mind',是一篇为 ASPR 落地摇旗的综述,而非中立评估——读的时候要配合站内的批判性条目对冲。
机制与做法
模型使用统计与方法分类
作者统计 ASPR 文献中出现的 LLM:GPT-4 占 32%(15 次)、ChatGPT 10.7%、Claude 3 8.6%,其余都是个位数;按模型种类数算 open-source 占 72.7%,但按实际使用频次闭源系(GPT 系 48.9%)仍主导。方法上分三档:prompt engineering(Liang et al. 的自动 pipeline、ReviewerGPT 找错/checklist 验证)、SFT(ReviewMT 多轮对话、Reviewer2 两阶段生成、LimGen 局限性生成)、multi-agent(AgentReview 模拟五阶段评审流程、MARG 的 leader/worker/expert 分工、SEA 的标准化-评估-分析三模块、MAMORX 多模态评审)。
资源盘点与问题清单
数据集按评审阶段分类(screening / main review / comment generation / review quality assessment / author response),列了 RelevAI-Reviewer(25k+)、ReviewMT(26k+ 论文 92k+ 评审)、Reviewer2 数据集(27k+/99k+)、ReviewCritique(100 篇标注 LLM 评审缺陷)等约 15 个;开源代码表覆盖十余个 repo,点名 SEA 是可复现性最佳实践。问题清单五条:知识与理解不足、评审偏见、评论不准确、数据安全(投稿保密 vs 送 API)、定制能力受限;另汇总了各大出版商(Elsevier、Springer、IEEE 等)对 AI 参与评审的政策——多数禁止把稿件上传给 LLM。未来方向里把 generative attacks(对抗输入操纵评审结论)列为挑战之一,但只有一段泛泛讨论。
关键结果
- ASPR 文献中 GPT-4 使用占 32%、ChatGPT 10.7%、Claude 3 8.6%,闭源系按频次主导;但按模型种类数 72.7% 是开源模型(样本仅 ~47 次文献出现,统计基数小)
- LLM 评审生成方法收敛为三类:prompt engineering、SFT(ReviewMT/Reviewer2/LimGen)、multi-agent(AgentReview/MARG/SEA/MAMORX),2024 底 MAMORX 是首个开源多模块多模态 ASPR 系统
- 盘点 ~15 个新数据集,按评审阶段五分类(screening → author response),并指出几乎全是纯文本、多模态数据集缺位
- Du et al. (ReviewCritique) 的实验:LLM 当 meta-reviewer 识别缺陷段落时 F1 普遍很低、recall 高于 precision,即大量误报——综述自己引用的证据其实并不支持其乐观结论
- 汇总主流出版商政策:多数明确禁止评审人将稿件内容输入 LLM(保密性),ASPR 的现实阻力主要在政策而非技术
实证核查
与我们方向的关系
对课题组的用法:这是 auto-review 子模块的【入口地图】,适合在读具体系统之前先过一遍——用它的三张表(LLM 使用统计、数据集分类、开源代码清单)快速建立领域坐标系,尤其是数据集表(按 screening/main review/comment generation/quality assessment/author response 五阶段分类)可以直接当选数据集的 checklist。读的顺序建议:本综述(地图)→ DeepReview(它漏掉的当前最强系统)→ AAAR-1.0(评审能力怎么测)→ Stop Automating Peer Review(方法论批判,对冲本综述的乐观立场)→ Hidden Prompts(攻击面,本综述几乎没覆盖)。
另一个提醒:本综述截稿 2025 年中且无维护中的 repo,2025 下半年之后的进展(reasoning model 评审、injection 防御、会议官方试点)需要自己补;它的价值在'LLM 之前→之后'的技术瓶颈对照(长文本/多模态/多轮/即时知识四节)和出版商政策汇总,这两块别处少见。