这是什么
同行评审危机(投稿爆炸、审稿人不够、LLM 代写评审已成规模)让会议开始把评审流程交给 AI:AAAI 2026 直接提供全 LLM 生成的评审,ICLR 2026 用 LLM 做 pre-review 筛稿,ICML 2026 推出双轨 LLM 政策但随即因水印检测 desk-reject 了 497 篇论文。这篇来自 Zurich、Stanford、Bocconi 的 position paper(Baumann, Pei, Koyejo, Hovy)反对这个趋势,论点很克制:不是'AI 永远不能审稿',而是'今天的 AI 系统不应该产出评审意见,部署前必须过严格评估'。
论文提出两个自动化评审的必要条件:C1 保持评审多样性(不能把多位专家的不同视角坍缩成一种声音)、C2 抗操纵(不能靠不改科学内容的花招刷分),然后用两组实验证明当前 AI 评审系统两条都不满足。作者还强调这两条只是必要条件——即使都满足,问责、验证、效率-监督权衡等问题仍需社区决议,所以最后呼吁建立'peer review automation 的科学':部署前红队测试、可接受的误报率、公开 system prompt 和模型版本、大规模 stakeholder 调研与人机交互 user study。
机制与做法
Hivemind 效应:两个相似度指标 + 真实数据与仿真双重验证
指标是 IntraSim(同一篇论文不同评审之间的两两 embedding 余弦相似度,用 OpenAI text-embedding-3-small)和 InterSim(同一类评审者跨不同论文的评审相似度)。in-the-wild 部分用 ICLR 2026 全部 75,800 条评审,配 Pangram 的 AI 生成标签(21% 即 15,899 条被判为全 AI 生成):全 AI 评审的 InterSim 均值 0.486 vs 其他评审 0.467(p<0.0001, Cohen's d=0.29,限定 weaknesses/questions 部分升到 d=0.35),且在全部 21 个 primary area 都显著。
仿真部分随机抽 60 篇 ICLR 2026 论文,用 Bianchi et al. 的 AI reviewer agent(GPT-5.1 / Claude Sonnet 4.5)重新生成评审:IntraSim 从人类的 0.811 升到 0.882(+8.7%, d=1.47);InterSim 上 GPT-5.1 比人类高 37.4%(d=3.55)。机制很直白——AI 评审爱复用万能句式:GPT 最常见的 'if not, can you comment on' 出现在 13.3% 的论文里,Claude 的 'how does the method handle' 出现在 21.7%,而人类评审最常见短语覆盖率不到 1%。附带的实用代价:AI 分数与人类分相关仅 r=0.15、AI 之间互相关 0.49 且系统性打高分(GPT 均值 7.3 vs 人类 4.3);在 8,015 篇论文上,人类均分预测最终录用 AUC=0.822,AI 均分只有 0.710。
Paper laundering:零样本改写刷 AI 评审分
把论文完整 LaTeX 源码 + 原始 AI 评审一起喂给 LLM,零样本 prompt 让它重写,编译回 PDF 再送 AI 评审,单篇成本约 $0.25。测了 4 个 prompt × 2 个改写模型(GPT-5.1/GPT-5.4)× 3 个评审模型共 24 个条件、每条件 60 篇:总体平均分数提升 +0.45(1-10 分制),几乎所有条件 Wilcoxon p<0.001。GPT 评审给 GPT 改写的论文涨分更多,和已知的 self-preference bias 一致。
词级 diff 分析证实涨分靠的是风格而非内容:改写主要增加 hedging 词('may''typically''suggests')和强调词('strong''robust'),少量'实质性'改动多是没有实验依据的幻觉解读。与 prompt injection 不同,laundering 不违反任何现行会议政策(作者可以公开声明用 AI 润色),这才是它危险的地方。副作用:被 laundering 的 60 篇论文两两 embedding 相似度 +6.5%(d=1.02),写作风格向 AI 偏好收敛,即'intellectual monoculture'。
从必要条件到 call to action
论文用一整节回应四种反方观点(如'AI 更一致更少偏见'——回答是一致性≠正确性,NeurIPS 2021 一致性实验揭示的人类噪声不能靠更单一的噪声源解决)。最后提出部署前三要求:对抗鲁棒性红队测试、验证过的准确率与可接受误报率(现有 AI 找错工具误报率高达 35%)、公开部署细节。正面范例是 ICLR 2025 Review Feedback Agent 的 2 万条评审 RCT,以及 NeurIPS 2026(三臂随机分组)和 EMNLP 2026(AI 评审仅 rebuttal 后展示给作者)正在跑的受控实验。
关键结果
- ICLR 2026 的 75,800 条评审中,Pangram 标签判定 21%(15,899 条)为全 AI 生成;这些评审跨论文相似度显著高于其余评审(0.486 vs 0.467, d=0.29),21 个领域全部显著。
- 仿真中 hivemind 效应大得多:AI 评审同篇论文间相似度 +8.7%~+9.8%(d=1.47~1.67),GPT-5.1 跨论文相似度比人类高 37.4%~39.8%(d 最高 3.79);限定 weaknesses/questions 部分效应更强,说明不是 summary 模板文本造成的。
- Paper laundering:零样本改写平均让 AI 评审分 +0.45(24 个条件几乎全部 p<0.001),单篇成本 $0.25,不需要 prompt injection、不违反任何会议政策。
- AI 评审分与人类分相关仅 r=0.15,但 AI 之间 r=0.49;AI 系统性高分(GPT 均值 7.3 vs 人类 4.3);人类均分预测录用 AUC 0.822 vs AI 均分 0.710。
- 被 laundering 的论文互相之间相似度 +6.5%(d=1.02):如果 AI 评审普及,不仅决定哪些论文被收,还会反向塑造论文怎么写。
- 背景数据:ICML 2026 用水印 PDF 检测,desk-reject 了 497 篇(约 2% 投稿)违反 no-LLM 评审政策;ICLR 2025 调查中 56% 审稿人反对官方 AI 生成评审。
实证核查
与我们方向的关系
对做评审 agent / 自动化科研评估的同学,这篇是必读的'反方基线':它给出了两个可操作的必要条件(review diversity、non-gameability)和现成的度量方法(IntraSim/InterSim + embedding 相似度、laundering 前后配对打分),任何自研评审 agent 都可以先用这套流水线自测。IntraSim/InterSim 的代价是只测语言相似不测论证相似(作者自己承认),课题组若做评审质量评估,可以在'论证多样性'度量上做增量。
paper laundering 这个威胁模型对 LLM-as-judge 的所有场景都成立(不只评审):任何用 LLM 打分的流水线,只要被打分对象也能过一遍 LLM 改写,分数就可能被风格因素污染,而且 GPT 评审偏爱 GPT 改写的 self-preference bias 会叠加。论文末尾列的 NeurIPS 2026 / EMNLP 2026 受控实验设计(随机分组 + 盲评 + 仅作者可见)是做 human-AI 评审对照研究的好模板。