InternAgent (NovelSeek): When Agent Becomes the Scientist -- Building Closed-Loop System from Hypothesis to Verification
这是什么
InternAgent(2025 年 5 月发布时叫 NovelSeek,7 月更名)是上海 AI Lab 推出的自主科研(Autonomous Scientific Research)框架。与 AI Scientist 那类"从零想 idea 写论文"的系统不同,它的定位更务实:给定一个科研任务的描述和 baseline 代码,系统自动调研文献、生成并演化改进 idea、把 idea 落成详细方法、再改代码跑实验验证,目标是把 baseline 指标往上推。产出不是论文而是"更好的方法 + 实验数字"。
覆盖 12 个任务,横跨科学侧(化学反应产率预测、分子动力学、增强子活性预测、转录预测、电力潮流估计、时序预测)和 AI 侧(图像/点云分类、语义分割、3D 检测、情感分类、VLM 微调)。任务既有单文件小代码,也有 repo 级多文件工程(如 AutoPCDet、AutoVLM),后者是 Dolphin 等前作不支持的。
论文强调三点:Scalability(12 个任务通吃)、Interactivity(人类专家可以在 idea 阶段插入反馈)、Efficiency(几小时到 30 小时拿到超过 baseline 的结果)。截至 2026 年中,仓库已演进到 InternAgent-1.5,加了 memory 模块、Deep Research、论文复现任务(sci_tasks)等,其解决方案优化子系统 MLEvolve 自称是 MLEBench 上排名第一的开源方法。
机制与做法
自演化 idea 生成(带人类反馈)
由一个 Orchestration Agent 调度多个专职 agent:Survey Agent 有两种模式——literature review 模式把任务拆成关键词组合广搜文献并按摘要相关性打分,deep research 模式下载全文精读后再生成新关键词迭代搜索;Code Review Agent 用 Python ast 做静态分析 + LLM 生成文档,理解 baseline 代码的结构和依赖(repo 级和 file 级都支持);Idea Innovation Agent 用高 temperature 的 LLM 生成 idea,再结合 critique 和文献做演化;Assessment Agent 从 coherence、credibility、verifiability、novelty、alignment 五个维度 0-10 打分加权排序,并刻意保证 top idea 之间的多样性。
默认配置:GPT-4o 跑 idea 侧,先调研 50 篇文献,生成 15 个 idea,每个 idea 演化成 3 个、每轮选 top 5,最多演化 4 轮。人类反馈是可选插入点,系统会在筛出高分 idea 后提示专家介入修正方向。
Idea-to-Methodology:论文最强调的差异点
多数前作直接从一句话 idea 跳到写代码,失败率高。InternAgent 中间加了一层 Method Development Agent:先做 Methodology Initialization——把 idea、任务描述、baseline 代码分析、相关文献四路信息揉成一份带具体机制和公式的详细方法文档;再做 Methodology Refinement——结合自动评审和人类反馈迭代打磨。论文的消融和与 AI-Scientist-V2 的对比都把执行成功率的优势归因于这一层:coder 拿到的是可实现的详细 spec 而不是一句高层想法。
演化式实验执行与 exception-guided debugging
写码环节双策略:单文件小改动用 Aider,repo 级多文件改动用 OpenHands(默认 Claude-3.7-Sonnet 写码和 debug)。debug 走"执行→捕获异常和 traceback→理解上下文→制定修复策略→定点改码"的循环,最多 4 次;Aider 最多跑 5 轮、OpenHands 3 轮。
实验不是一把梭:每次实现后评估性能、记录决策,做 adaptive evolution(多轮计划-实现-评估)。消融显示去掉 adaptive evolution 后 AutoRYP 的改进 idea 数从 4/10 掉到 2/10,Auto2DCls 最高 Acc 从 83.3 掉到 81.6。
关键结果
- 反应产率预测(AutoRYP):baseline R² 27.6 → max 35.4 / avg 33.5(10 个 idea),12 小时;同设置下 Dolphin 只到 31.8。
- 增强子活性预测(AutoEAP):HK-PCC 0.65 → 0.79,4 小时,10 个 idea 中 8 个跑通且 8 个有提升(全表最高成功率)。
- 2D 语义分割(Auto2DSeg,repo 级):DeepLabV3Plus mIoU 78.8 → 81.0,30 小时;Dolphin 不支持 repo 级任务。
- 执行统计(improved/successful/tested,每任务 10 个 idea):简单任务如 AutoSenCls 达 9/9/10,但复杂任务明显吃力——AutoVLM 仅 1/5/10、AutoPCDet 2/5/10,对应提升也只有 +0.5 和 +0.9。
- 成本:每个 idea 生成约 $0.6(GPT-4o),每次 coding+debug $0.4-1.2(Claude-3.7-Sonnet);整个 session 约 $3,对比 AI-Researcher 的 $25-32、AI-Scientist-V2 的 $10-15(后两者在同任务上均未能超过 baseline,AI-Researcher 在 AutoRYP 上 R² 只有 12.3)。
- few-shot 产率预测上,InternAgent 生成的方法不仅均值更高(train-set=60 时 34.8 vs 24.2),方差也更小(±1.1 vs ±4.2)。
实证核查
与我们方向的关系
对课题组是最值得上手改的国产开源基线:任务即插即用(一个任务只需 prompt.json + baseline 代码 + launcher.sh),README 给了免下载数据的 AutoDebug 玩具任务做 smoke test,exp_backend 支持 claudecode/Aider/OpenHands 切换,适合做"同一任务不同 agent 后端"的横向对比实验。idea-to-methodology 这个中间层的消融结果(执行成功率显著提升)对任何做 agent 写码验证 idea 的工作都是直接可借鉴的设计。
它的评测口径也值得学:improved/successful/tested 三元组比单报 best 数字诚实得多,可以直接搬到我们自己的系统评测里。反过来要警惕的是复杂任务(AutoVLM、AutoPCDet)上 10 个 idea 只有 1-2 个有提升,说明这类系统目前的甜点区仍是中小规模、指标明确的任务。