Zochi Technical Report (first AI system to pass A* conference peer review)
这是什么
Zochi 由 Intology AI(Project Lead: Andy Zhou)推出,定位是能走完 "选题-假设-实验-写论文-投稿过审" 全流程的 artificial scientist。卖点是它不是自动化科研的某一环(如只做文献综述或只生成 idea),而是端到端产出被同行评审接受的论文。
这份技术报告(2025 年 3 月发布,repo 于 3 月 17 日建)记录的是较早一版 Zochi 的成果:三篇 ICLR 2025 workshop 论文——CS-ReFT(参数高效微调)、Siege(多轮越狱)、EGNN-Fusion(蛋白-核酸结合位点预测)。README 顶部明确注明:报告与代码对应的是早期版本;真正登上 ACL 2025 的是 Siege 的升级版 Tempest,那部分只在博客里宣布,不在这份报告中。
"首次通过 A* 会议评审" 这一标题来自后续的 ACL 2025 里程碑:Tempest 过了 ACL 主会评审。这是 Zochi 被收录进本站的核心理由,可与 Sakana AI Scientist v2 只到 workshop 级别的结果对照。
机制与做法
多智能体流程 + 迭代精化
系统把科研方法拆成若干专职 agent:文献分析/知识综合、假设生成与精化、实验设计与实现、数据分析、科学写作。工作流(报告 Fig.2)是:High-Level Research Direction → Ideation → Hypothesis Generation → Experiment Generation → Implementation & Execution → Results,结果不满意就回到 Refinement Step 再循环,满意才进 Paper Writer。
输入很灵活:可以给宽泛方向(如 "AI safety"),也可以给具体到方法层面的题目。系统跑在 H200 GPU 上、耗时数天。
三处强制人类验证(advisor-student 模式)
报告坦承这不是全自主系统。人类专家在三个节点做强制验证:大规模实验开始前、结果定型但写稿前、稿件完成后,验证重点是方法合理性和结果是否如实反映实验。
此外人类可随时给高层反馈(几句话级别),CS-ReFT 和 Siege 在实验期间被 "steer" 过几次以避开死路、省成本;论文里的示意图由人类绘制,终稿做了词句级编辑和补引用。报告称除了编辑终稿外,idea、实验、代码没有直接人工介入。
评估:自建 automated reviewer + MLE-Bench
自动评审沿用 Sakana AI Scientist 的 reviewer,但换成 o3-mini 后端,按 NeurIPS 打分指南给 1-10 分(6 为录用线)。Zochi 三篇早期草稿(无人工介入版)拿 8/8/7,均分 7.67,而 AI Scientist v2、Agent Lab、Carl 都在 3-4 分。
另在 MLE-Bench 10 个低难度 Kaggle 任务上测:80% 任务超过人类中位数、50% 拿到奖牌(2 金 3 银),高于 Agent Laboratory(40%)、AIDE(20%)。
关键结果
- Tempest(即 Siege 升级版)被 ACL 2025 录用,是 AI 端到端产出的研究首次过 A* 级会议评审(据 Intology 及 CASRAI 等第三方报道)。
- Siege 越狱:JailbreakBench 100 条 behavior 上,GPT-3.5 单轮多回合成功率 100%、GPT-4 97%、Llama-3.1 97%,query 数低于 Crescendo/GOAT 基线。
- CS-ReFT:Llama-2-7B 上 AlpacaEval win rate 93.94%,超过 GPT-3.5-Turbo(86.30%),仅用 0.0098% 参数(比前法减少 12.7x)。
- EGNN-Fusion:蛋白-核酸结合位点预测,用 2.6M 参数(EquiPNAS 为 53.5M,减 95%)达到接近 SOTA 的 ROC-AUC;该篇未过评审,投了期刊。
- 自评 automated reviewer 均分 7.67,显著高于 6 分录用线,对比系统均分 3-4;人类真实评审 5 篇均分 6.6(报告 Introduction)。
- 系统本体闭源:GitHub 只放了清洗过的 CS-ReFT / Tempest 复现代码,Zochi 系统本身通过 beta 名单申请,未开源(repo issue #1)。
实证核查
与我们方向的关系
对做 AI-scientist / 自动化科研方向的同学,这是目前 "AI 论文过顶会评审" 最硬的一个案例,值得和 Sakana AI Scientist v2(只到 workshop)对照看差距。要点是:Zochi 走的是 human-in-the-loop 路线(强制验证 + 人画图 + 人润色),而不是全自主,复现或对标时不要被 "autonomous" 的措辞误导。
方法层面,Siege/Tempest 的 tree-search 多轮越狱、partial compliance 追踪,以及 CS-ReFT 的 representation-level 正交子空间路由,都是可单独拿来读的技术点(有清洗版代码可跑)。但系统本体闭源,想研究 "AI 如何自己做出这些" 的机制则无从下手。