DSBench: How Far Are Data Science Agents from Becoming Data Science Experts?
这是什么
在 DSBench 之前,数据科学方向的 benchmark(如 DS-1000)大多是从教程或 StackOverflow 抠出来的短代码补全题:上下文短、单表、纯文本、答案就是一段代码。而真实数据科学工作是拿着一份几页长的业务描述、几个 Excel 文件和图表,回答具体问题或从头训一个模型。DSBench 就是要补这个 gap。
它包含两类任务。数据分析任务来自 ModelOff(全球金融建模竞赛,题目现托管在 eloquens.com):38 个 challenge 共 466 道选择/填空题,平均题干 815 词,带 Excel 多表、图片等多模态输入,人类平均每题要花 18.5 分钟。数据建模任务来自 Kaggle:筛出 74 个有 train/test/sample_submission 标准结构的竞赛,agent 要端到端读题、设计模型、写代码、产出 submission 文件,按各竞赛原始 metric 打分。
2025 年 1 月被 ICLR 2025 接收;2025 年 7 月 OpenAI 在 ChatGPT agent 发布博客里把 DSBench 作为数据科学能力的官方评测,这是它影响力的主要来源(S2 引用 119)。
机制与做法
数据分析任务:多模态长上下文问答
输入是任务介绍 I、数据文件集 D(Excel 为主,平均 2.3 个 sheet,最大 2.7MB)和问题 Q,agent 需要写代码算出答案。判分不做精确匹配,而是用一个 LLM 做语义等价比较 S(A, Â),报 task-level accuracy 和按 challenge 平均的 competition-level accuracy。
刻意保留了真实竞赛的脏细节:一个 challenge 里多张表格式不统一(有的属性在首行、有的在首列)、问题可能跨表、题干很长且大部分内容与当前小题无关,考验 agent 找关键信息的能力。对工具不设限,用 Python 或 Excel 都行。
数据建模任务:端到端 Kaggle 竞赛
由于 Kaggle 测试集不公开,作者把原 training set 按 8:2 重切成 train/test,评测时本地跑脚本打分,不需要向 Kaggle 提交。输入是竞赛描述、train/test 文件和 sample submission(平均上下文+数据约 79k token),输出是 submission 文件。
两个指标:Task Success Rate(能否在限定步数内无 bug 地产出格式合法的 submission)和 Relative Performance Gap(RPG = mean(max((p-b)/(g-b), 0)),p 为 agent 成绩、g 为该竞赛最好成绩、b 为 baseline 成绩),解决了 74 个竞赛 18 种 metric 无法直接平均的问题。人类参照是 22 个竞赛里能跑通的公开 Kaggle 代码。
被测系统与主结果
测了三档:裸模型(Llama3、LLaVA、GPT-3.5/4/4o、Gemini 1.5 Pro、Claude 3.5 Sonnet)、AutoGen 多 agent 框架、OpenAI Code Interpreter。分析任务上 AutoGen+GPT-4o 最好(34.12%,花费 $114),裸 GPT-4o 28.11%,Claude 3.5 Sonnet 意外地只有 6.01%(疑似格式/拒答问题);人类 64.06%。建模任务上 AutoGen+GPT-4o Task Success 71.62%、RPG 34.74%,离人类代码差距明显。另一个观察:越晚年份的 ModelOff 题越难,所有模型准确率随年份下降。
关键结果
- 最强组合 AutoGen+GPT-4o 在 466 道数据分析题上只对 34.12%(competition-level 26.72%),人类(10 个 challenge 抽样)是 64.06%——2024 年时 agent 连人类一半都不到。
- 数据建模上 AutoGen+GPT-4o 的 Task Success Rate 71.62%、RPG 34.74%:即便产出了合法 submission,模型质量也只有'从 baseline 到最优'区间的三分之一左右。
- agent 框架有用但贵:AutoGen 让 GPT-4o 分析准确率从 28.11% 提到 34.12%,但成本从 $67.56 涨到 $114.05;Code Interpreter 反而普遍低于裸模型(GPT-4o 23.82%)。
- Claude 3.5 Sonnet 在裸模型评测里只有 6.01%,远低于 Gemini 1.5 Pro 的 31.55%,与两者在其他 benchmark 的相对水平严重不符,提示裸模型分数对提示词/输出格式敏感,横向比较要谨慎。
- 题目难度随竞赛年份上升,人类平均每道分析题耗时 18.5 分钟——不是玩具题。
- 后续进展快:2025 年 7 月 OpenAI 报告 ChatGPT agent 在 DSBench 上数据分析 89.9%、数据建模 85.5%,大幅超过论文里的人类基线(64.06%);数据分析子集的 headroom 基本被打穿,建模子集尚有争议(见 reality)。
实证核查
与我们方向的关系
对做 autoresearch/agent 评测的同学,DSBench 是'数据分析 + 建模'两类能力最常被引用的真实场景基准,和 MLE-bench(纯 Kaggle、比排名)互补:DSBench 的分析子集考长上下文多模态理解,建模子集用 RPG 归一化不同 metric,这个归一化设计(max((p-b)/(g-b),0))值得借鉴到我们自己的评测里。
两个使用上的注意:一是分析子集在推理模型时代已接近饱和(OpenAI 报 89.9%),新工作若只报这个子集说服力有限,建模子集更有区分度;二是它的判分依赖 LLM 语义比较、人类基线是小样本,拿它的绝对数字做跨论文比较时要看清各家用的判分器和版本。