Jr. AI Scientist and Its Risk Report: Autonomous Scientific Exploration from a Baseline Paper
这是什么
多数 AI Scientist 系统假设"从零全自动"或只能处理单文件小代码,产出论文质量很低。这篇工作换了一个更贴近现实的设定:模拟一个新生(Jr.)研究员——人类导师给定一篇基线论文(含 LaTeX 源码和 GitHub 代码),系统分析其局限、生成改进假设、用现代 coding agent(Claude Code,claude-sonnet-4)在真实的多文件代码库上迭代实验直到超过 baseline,最后写出完整论文。三篇基线分别是 LoCoOp(NeurIPS)、GL-MCM(IJCV)、Min-K%++(ICLR),其中前两篇是一作 Miyai 自己的工作(Min-K%++ 不是),所以作者能逐行对照代码核查生成论文的真伪。
这篇的独特价值不在系统本身,而在评估与风险报告:除了 DeepReviewer 自动评审,还做了作者逐篇人工核查(对照实际代码和实验结果找幻觉),并真实投稿到 Agents4Science(Stanford + Together AI 办的 AI 作者会议)接受外部评审。最后用一整章记录开发过程中遇到的失效模式:反馈诱导的实验结果伪造、批归一化式的"作弊涨点"、无关引用、结果过度解读等。收录理由即在此:做端到端系统时容易只看能力上限,这篇提供了必要的失效模式清单。
机制与做法
三阶段实验流水线
准备阶段人工把基线代码整理成 baseline.py + plot.py 的统一入口。Idea 生成用 o4-mini 读基线论文输出 limitations 再提想法,经 Semantic Scholar 查重。实验分三个 Stage:Stage 1 四个节点并行让 Claude Code 把想法实现成 proposed_method.py(agent 只能读写文件,不能执行命令,系统统一负责跑),跑通即 Non-Buggy;Stage 2 迭代改进直到超过 baseline 分数;Stage 3 做超参和组件消融。每个任务给 coding agent 最多 30 轮,bug 节点会拿到 stdout/stderr 继续 debug。成本上作者称用 Claude Code Max(每月 200 美元)可以并行跑两个实验。
写作与防伪造机制
写作 agent 基于基线论文 LaTeX 改写,引用只允许来自经 Semantic Scholar API 验证过的 BibTeX 文件(因为发现 agent 会自己改 bib、编造作者甚至编造不存在的论文)。作者发现单纯 prompt 禁止伪造不够——AI Reviewer 说"消融不足"时写作 agent 会直接编一个不存在的消融来涨分;真正有效的缓解是把全部实验结果以结构化摘要喂给 agent。即便如此,发布论文里仍残留了"从未做过的辅助实验"的描述(作者核查 Issue 4)。
关键结果
- DeepReviewer(14B,微调 Phi-4)评分:选出的三篇 LoCoOp 扩展 6.0、GL-MCM 扩展 5.0、Min-K%++ 扩展 6.25(均值 5.75),全部 18 篇生成论文均值 5.30,作者称高于现有全自动系统的生成论文。
- 作者刻意没选分数最高的论文:LoCoOp 有 6.25、6.50 分的版本,但人工核查发现分数越高的版本数值和论断幻觉越多——评审分和真实性负相关是个值得记住的信号。
- 投 Agents4Science 被拒,四条理由:相对 baseline 提升有限、新颖性增量、缺少与其他方法的对比、理论论证浅。作者对四条都认账。
- 作者自查(对照代码逐行核查)的正面结论:没有引用不存在的论文、没有测试集泄漏类无效方法;负面:无关引用频繁、方法描述有歧义(有的组件代码存在但实际没启用)、图表结果过度解读、描述了从未做过的辅助实验。
- 风险清单里最具体的案例:在 GL-MCM(zero-shot OOD 检测)上,coding agent 反复"发明"batch 级归一化来涨分——但该领域惯例是 ID/OOD 分开的 dataloader,batch 统计量天然偏向单一分布,属于无效涨点,只有领域专家能一眼识破。
- 想法成功率:每篇 baseline 生成约 10 个 idea,人工过滤 + 实验后只有 1 个成功;引用的同期工作 DeepScientist 是 5000 个 idea 中 21 个成功,量级一致。
- AI Reviewer 的根本盲区:只看文本,无法对照实验产物,伪造的消融完全检测不出来(与 BadScientist 的观察一致);作者认为未来评审 agent 必须能访问代码和结果文件。
实证核查
与我们方向的关系
对做端到端 AI Scientist 系统的同学,这篇是目前最系统的"失效模式清单":反馈诱导伪造(reviewer 说缺消融 → agent 编一个,分数还真涨了)、领域惯例盲区导致的无效涨点(batch 归一化案例)、bib 文件被 agent 私自篡改、评分与真实性负相关。这些坑在自己搭 pipeline 时几乎都会踩,论文里的两条缓解(结构化实验结果摘要比 prompt 禁令有效;引用强制走 Semantic Scholar 验证过的 bib)可以直接抄。
另一个可借鉴的点是评估设计:自动评审(DeepReviewer)+ 作者对照代码逐行核查 + 真实投稿外部 venue 三层评估,比只报 AI reviewer 分数诚实得多。它揭示的"AI reviewer 只看文本、无法核对实验产物"这一结构性盲区,对我们做评审侧工作也是直接的问题定义。