基准评测基准

DiscoveryBench: Towards Data-Driven Discovery with Large Language Models

DiscoveryBench:数据驱动科学发现基准

Bodhisattwa Prasad Majumder, Harshit Surana, Dhruv Agarwal, et al. (Ai2) · Ai2 · arXiv · 2024-07 · 被引 88

一句话Ai2 提出的首个形式化"从数据集中搜索并验证假设"的基准:264 个真实任务(从 6 个领域已发表论文手工复现工作流)+ 903 个合成任务,用 GPT-4 做 facet 级判分(HMS);最强系统 Reflexion(Oracle) 也只拿 24.5 分,不给 oracle 反馈的最好 agent 只有约 16 分。

这是什么

自动化科研的一个核心环节是:给你一堆数据集和一个研究目标,能不能自己做数据清洗、统计分析,最后提出一条被数据支持的假设?DiscoveryBench(Ai2,2024-07,后被 ICLR 2025 接收)把这个过程形式化成 benchmark:每个任务 = 数据集 D + 自然语言 discovery goal G,要求输出假设 h = ψ(context, variables, relationship),即在什么条件下、哪些变量之间、存在什么关系。

DB-Real 部分有 264 个任务,来自社会学、生物、人文、经济、工程、meta-science 六个领域的已发表论文——团队手工用 Python 复现论文的分析工作流(data-first 路线每个数据集最多花了 90 人时,约 30% 复现失败;code-first 路线扫了 Zenodo 785 个计算笔记本仓库,最后只有 3 个通过全部检查),侧面说明非 CS 领域的可复现性有多差。另有 DB-Synth 903 个合成任务,用 LLM 反向生成 semantic tree + pandas 表达式造数据,可控地调节任务难度。

评测不看过程只看结论:用 GPT-4 把 gold 和预测假设各自分解为子假设,在 context/variables/relationship 三个维度上打 Hypothesis Match Score(HMS)。114 个任务需要联合分析多个数据集(最多 6 个),超过 500 处涉及数据清洗、去重、整合等真实预处理。

一个任务的完整流程:左边是任务(数据集 + goal,如"时间偏好与 BMI 什么关系"),中间是 agent 的分析工作流(清洗、派生 BMI、算相关),右边是 facet 评测——gold 与预测假设在 context / variables / relationship 三个维度分别打分,汇成 HMS。

机制与做法

任务构造:从已发表发现反推 discovery task

Real 部分两条采集路线。data-first:围绕 NLS、GBIF、World Bank Open Data 等大型公开数据集找有工作流细节的论文,手工在 Python 里复现;code-first:在 Zenodo 上找带代码的论文仓库(785 个候选,85% 以上代码缺失/不可迁移/数据不开放,最终仅 3 个仓库入选)。复现成功后记录 (数据集, 假设, 工作流) 三元组,复现过程中顺带发现的"论文没报告但数据支持"的新假设也收进来,一定程度上对冲 LLM 背过原论文的记忆问题。

discovery goal 的构造方式是对假设 ψ(c,v,r) 做 mask:遮掉 context、variables、relationship 三者之一,让 agent 从数据里把被遮的维度找回来,并保证每个 goal 只对应唯一答案。任务难度用 gold 工作流长度(近似 semantic tree 中的路径长度)刻画,同一假设还会派生 easy/hard 两版(如直接给 BMI 列 vs 要求从 height/weight 自己推导)。

DB-Real 工作流类别的 treemap:数据准备类操作占绝对大头(569 次,含清洗、整合、去重等),其后是基础统计(158)、特征工程(112)、高级统计(104,回归/混合模型/分位数回归等)和领域特定方法(26,如生态建模、pollen dating)。这解释了为什么任务比"写段分析代码"难得多——瓶颈在多步数据准备。

HMS 评分:facet 级的 LLM 判分

用 gpt-4-preview-0125 做 evaluator:先把 gold/预测假设各自分解成子假设并抽取 (c,v,r) 三维;context 判等价后配对算 ctx_F1;配对成功的子假设再算 variables 的 F1 和 relationship 的准确率(完全一致 100、预测比 gold 更宽泛但涵盖它 50、否则 0);最终 HMS = ctx_F1 × 平均(var_F1 × rel_acc),范围 0-100。整个评分完全依赖 GPT-4 判断,论文没有报告与人工评分的一致性数据(tex 源码里留有 "TBD correlation with human eval" 的未完成注释)。

基线与结果

五种 agent × 三个模型(GPT-4o、GPT-4p、Llama-3-70B):NoDataGuess(不看数据直接猜,测记忆)、CodeGen(一次性写完整分析代码)、ReAct、DataVoyager(planner+codegen+analysis+critic 多组件)、Reflexion(Oracle)(每轮拿真实 HMS 分数作反馈反思重试,最多 3 轮)。Real 上最好的是 Reflexion(Oracle) 24.5(GPT-4o),但它开了金标准反馈的挂;不开挂的最好成绩是 CodeGen+GPT-4p 的 16.3。ReAct 和 DataVoyager 都没有跑赢朴素的 CodeGen。

失败分析:context 找不对则 variables/relationship 基本无望;工作流越长分数掉得越快;做 correlation analysis 类任务能到 55%,而 spatial analysis、pollen dating、ecological modeling 全是 0%;生物(0%)和工程(7%)领域最难,经济(25%)、社会学(23%)相对好。

关键结果

最强系统 Reflexion(Oracle) 在 DB-Real 上 HMS 仅 24.5%,且它依赖 gold 评分作反馈信号;不用 oracle 反馈的最好成绩是 CodeGen+GPT-4p 16.3%——"最好 25%"这个宣传数字其实带着 oracle 挂
ReAct(15.4-15.6)和多组件 agent DataVoyager(13.9-15.4)都没有超过一次性生成代码的 CodeGen(15.5-16.3),精巧的 agent 框架在这个任务上不加分
工作流长度是主要难度轴:短工作流(<10 步)尚可,中长工作流分数显著下滑;需要 spatial analysis、pollen dating、ecological modeling 等领域方法的任务全军覆没(0%)
Real 与 Synth 上模型表现接近,说明合成任务较好地保留了真实工作流的难度特性,903 个 synth 任务(48 个域,难度 1-4 分级)可当训练数据用
NoDataGuess 基线:GPT-4o 拒绝瞎猜得 0 分,Llama-3 不看数据也能得 11.5 分、和看数据(12.1-13.5)几乎一样——弱模型看不看数据区别不大
数据收集本身就是个发现:data-first 复现单个数据集最多耗 90 人时且 30% 失败,Zenodo 785 个计算笔记本仓库 85%+ 缺代码或缺数据,最终仅 3 个仓库可用

实证核查

有水分数据集真实开放(GitHub + HF,ODC-BY),被 ICLR 2025 接收、引用 88 次,核心结论"当前 agent 做不好数据驱动发现"可信;但任务数对不上账、存在重复任务、官方从未发布复现论文数字的完整脚本,2025 年以来的复现类 issue 全部无人回复,仓库实质停止维护。

论文声称 DB-Real 包含 264 个任务

issue #15(2024-12)指出仓库 metadata 里有 283 条 query,而 answer_key_real.csv 只有 239 行,三个数字互不一致,官方在该 issue 里未正面给出 264 的对账口径;论文 Table 2 自己写的也是 train 25 + test 239

benchmark 任务经过人工整理、清洗、去重

issue #21(2026-01,open,0 回复)发现 DB-Real archaeology 中 metadata_2.json 与 metadata_26.json 除字段顺序和一处 typo 外内容完全相同,是重复任务

提供完整的 agent 与评测代码供社区使用

repo 只给了跑单条 query 的 discovery_agent.py / discovery_eval.py,没有批量跑全集、汇总出论文分数的脚本,也没公开 Reflexion(Oracle) 的 prompt 和假设抽取的后处理代码;issue #16(2025-03)、#18(2025-05)、#20(2025-12)先后追问,均 0 回复;repo 最后 push 是 2025-06

"even the best system scores only 25%"

这个 24.5 分来自 Reflexion(Oracle)——每轮把真实 HMS 分数喂回给 agent 反思,相当于拿着标准答案的打分反复重试;不使用 oracle 信号的最好成绩是 16.3(CodeGen+GPT-4p),见论文 Fig 5 左表(source/sections/5_experiments.tex)

HMS 是可靠的假设匹配评分

评分链条(分解子假设、context 判等、变量抽取、关系判等)每一步都依赖 gpt-4-preview-0125 的判断,论文未报告与人工评分的相关性;tex 源码中留有作者注释 "TBD correlation with human eval vs model-based eval"(3_discovery_bench.tex 第 313 行),说明这项验证写作时没做完

与我们方向的关系

对做 autoresearch 的同学,这是"假设发现"环节最正式的一个基准:它把假设定义成 (context, variables, relationship) 三元组并按维度判分,这套 facet 化评测思路可以直接搬到自己的 agent 评测里,比整句 LLM-judge 更可解释。DB-Synth 的 semantic tree 造数流程也值得借鉴——想给数据分析 agent 造可控难度的训练/评测数据时是现成方案。

使用时注意三点:官方没有开箱即用的全量评测脚本,想复现论文数字得自己写 harness 并处理 283/239/264 的任务对账;测试集部分 metadata 不含 gold 假设(issue #20),评测要靠 eval/answer_key_real.csv;引用它的数字时,区分 oracle 与非 oracle 设定,别直接说"最好系统 25%"。