DeepResearch Bench: A Comprehensive Benchmark for Deep Research Agents
这是什么
2025 年上半年 OpenAI、Gemini 相继推出 Deep Research 产品后,'给一个调研问题、产出带引用的长报告'成了 LLM agent 最热的落地形态,但当时没有像样的评测:用 GAIA/HLE 这类 QA 基准测不出报告写作能力,直接 LLM-as-judge 又没人验证过与人类判断的一致性。DeepResearch Bench 是第一个针对这个空档的系统性基准。
任务集的来源比较讲究:作者先分析了 96,147 条真实的联网搜索类用户 query,按 WebOrganizer 分类法归入 22 个主题域得到真实需求分布,再按这个分布邀请博士级专家(或 5 年以上从业者)出题、人工筛选,最终得到 100 个任务(中英各 50)。评测对象分两类:Deep Research Agent 产品(OpenAI DR、Gemini-2.5-Pro DR、Perplexity DR、Grok Deeper Search 等)和'LLM + 搜索工具'的普通配置。
这是一个持续维护的活基准:2025-07 起与 AGI-Eval 合作、HF 上挂 leaderboard 接受社区投稿;2026-02 同一实验室发布了侧重点不同的续作 DeepResearch Bench II(9,430 条细粒度二元 rubric);2026-05 因 Gemini-2.5-Pro 停服,官方评估器切换为 GPT-5.5 并重建排行榜。
机制与做法
RACE:参照对比 + 动态准则的报告质量评估
核心思路是解决两个已知问题:固定 rubric 无法适配 22 个领域的任务差异;单独给报告打分时 judge 倾向一律给高分、区分度不足。做法分三步:(1) Judge LLM 针对每个任务在 Comprehensiveness / Insight-Depth / Instruction-Following / Readability 四个固定维度下动态生成任务专属的评分准则和权重(多次采样取平均);(2) 把目标报告和一份高质量参照报告(reference)放在一起逐条准则对比打分;(3) 最终分数取相对值 S_tgt/(S_tgt+S_ref),所以榜上 45 vs 50 的差距对应人类评分里可能是 90 vs 100——作者明确说该看排名和相对差距,不要看绝对值。
人类一致性验证用 50 个中文任务 × 4 个 agent 的报告,70 多名有硕士学位的领域标注者每任务 3 人打分。RACE(Full) 的 Pairwise Agreement Rate 达 71.33%,超过人类专家互评一致率 68.44%;而 vanilla prompt 直接打分只有 58.89%。消融显示 reference 对比是最关键的组件(去掉后 PAR 掉到 66.56%)。Judge 选型上 Gemini-2.5-Pro 效果最好且单条查询约 $0.13。
FACT:逐条核查引用是否真的支持陈述
流程:Judge LLM 从报告里抽取 statement-URL 对并去重,然后用 Jina Reader 抓取每个 URL 的正文,让 judge 判断网页内容是否支持该陈述,输出 support / not support。汇总成两个指标:Citation Accuracy(引用准确率)和 Effective Citations(每任务平均有效引用数,衡量'检索到多少真材实料')。判 support 的 judge(Gemini-2.5-Flash)在 100 对抽样上与人类判断的一致率为 support 96% / not support 92%。
这两个指标刻意分开是有信息量的:Gemini-2.5-Pro DR 每报告平均 111.2 条有效引用(断层领先)但准确率只有 81.4%,Perplexity DR 准确率 90.2% 但只有 31.3 条有效引用——'广撒网'和'引得准'是两种不同的能力剖面。
评估器换代:活基准的代价
2026-05,因 Google 宣布 Gemini-2.5-Pro 于 6 月停服,团队在人工标注子集(50 任务 × 4 agent)上重新对比了三个候选 judge,GPT-5.5 以 71.82 的人类一致性总分胜出(人类互评基线 68.78),被定为新 RACE 评估器(FACT 用 GPT-5.4-mini)。旧评估器下的分数与新分数不可直接比较,官方做法是双榜并行一个月后全量迁移、重评原论文结果。这暴露了 LLM-as-judge 基准的结构性软肋:榜单寿命受制于 judge 模型的商业寿命,分数没有跨期可比性。
关键结果
- RACE 总分(原论文,judge=Gemini-2.5-Pro):Gemini-2.5-Pro DR 48.9 > OpenAI DR 47.0 > Perplexity DR 42.2 > Grok Deeper Search 40.2;OpenAI DR 在 Instruction-Following 维度反超(49.3 vs 49.2)。
- FACT:Gemini-2.5-Pro DR 平均 111.2 条有效引用/任务(第二名的约 2.7 倍)但引用准确率 81.4%;Perplexity DR 准确率最高 90.2%;Grok 只有 8.2 条有效引用。
- RACE 与人类判断:PAR 71.33%、整体 Pearson 99.54%,超过人类互评一致率 68.44%;vanilla prompt 基线仅 58.89%,去掉 reference 对比降至 66.56%——参照对比是最大贡献项。
- 'LLM+搜索'组里 Claude-3.7-Sonnet w/Search 的 RACE 总分超过了 Grok Deeper Search,说明产品化的 DRA 不一定强于多轮搜索的裸模型。
- 所有模型在中文交通类任务上都低于自身平均分,题目难度不均;每任务人工评审一份报告需 30-60 分钟,是自动评估存在的根本理由。
- S2 引用 217 次(2026-08),GitHub 817 stars,排行榜持续接受社区提交(issues 里有 Baidu Qianfan、iFlow 等十余个提交请求)。
实证核查
与我们方向的关系
对做 autoresearch 的组来说这是绕不开的基准:如果我们要做 deep research agent 或报告生成系统,DRB 是目前社区默认的横向比较标尺(投稿门槛低,发邮件 + 提供 GPT-5.5 key 即可上榜)。跑一遍成本也可控:100 个任务,RACE judge 约 $0.13/query 量级。
方法论上有两点可以直接借鉴:(1) RACE 的'动态生成准则 + 参照报告相对打分'是治 LLM-as-judge 打分趋同的有效配方,消融数据(去 reference 掉 4.8 个点 PAR)说明参照对比比准则工程更重要,这对我们自己搭任何长文本评估管线都适用;(2) 它的教训同样有用——judge 模型停服导致整个榜单分数作废重评,自建评估体系时应从第一天就保留原始报告和中间打分,让换 judge 只需重跑评分而非重收数据(DRB 正是靠保留 raw article 才能迁移)。