Tongyi DeepResearch Technical Report
这是什么
Deep Research 类系统(OpenAI Deep Research、Gemini Deep Research 等)能自主上网做多步检索和推理,替人完成数小时的调研任务,但此前基本闭源、中间过程不可见。通义这篇技术报告给出了第一个宣称性能对标闭源系统的全开源方案:30.5B 总参数、每 token 只激活 3.3B 的 MoE 模型,基于 Qwen3-30B-A3B-Base,工具空间为 Search、Visit、Python Interpreter、Google Scholar、File Parser 五件套,推理框架就是最朴素的 ReAct——作者明确引用 The Bitter Lesson 解释为什么不做复杂多 agent 结构。
这份报告的真正价值不在单点技巧,而在完整交代了'如何从一个通用 base model 训出调研 agent'的全流程:两阶段 agentic mid-training(Agentic CPT)注入 agent 行为先验 → 合成数据 SFT 冷启动 → 严格 on-policy 的 agentic RL → 最后 model merging。所有训练数据都由自动化流水线合成,不依赖人工标注。它背后是通义 WebAgent 系列(WebSailor、WebShaper、AgentFounder、WebResearcher 等 17+ 篇论文)的集大成,GitHub 仓库已近 2 万 star,是社区研究'训练调研 agent'最重要的开放参照。
机制与做法
训练管线:mid-training 补 agent 先验,post-training 冲上限
核心论点是通用 base model 缺少 agentic inductive bias,直接做 agentic post-training 会让模型同时学'agent 能力'和'对齐',产生优化冲突。因此在 pre-training 和 post-training 之间插入两阶段 Agentic CPT(即 AgentFounder 那篇的做法):第一阶段 32K 上下文,第二阶段扩到 128K 并灌入 64K-128K 的长序列 agent 行为数据,全程用 next-token prediction 损失,并掺入通用预训练数据防止灾难性遗忘。
Post-training 分三步:先用合成 QA + 高性能开源模型生成的轨迹做 rejection sampling,SFT 冷启动(同样两阶段,40K → 128K);再做 agentic RL;最后把不同能力偏好的 checkpoint 做加权平均(model merging)得到最终模型。推理时有两种范式:标准 ReAct,以及基于 IterResearch 上下文管理的 Heavy Mode——每步不带完整历史,只保留问题 q、演进中的报告摘要 S_t 和上一步交互,靠 Markovian 状态重构避免上下文撑爆。
合成数据:从知识图谱随机游走到不确定性注入
Mid-training 数据覆盖 agent 工作流全生命周期:问题合成(基于实体锚定的开放世界记忆)、planning action、reasoning action、decision-making action 四类,另加环境规模化(environment scaling,每个环境建模为可读写数据库)合成的通用 function-calling 数据。
Post-training 的 QA 合成是 WebSailor + WebShaper 路线:先用随机游走构建高度互联的知识图谱和来自真实网站的同构表格,采样子图/子表生成初始 QA,再对问题做'不确定性注入'(如合并属性相似的实体)系统性提升难度,并用基于集合论的形式化建模来控制推理结构、减少捷径、支持自动验证答案正确性。报告给的数据质量证据:SFT 数据中超过 20% 样本长于 32k tokens 且涉及 10 次以上工具调用。
Agentic RL:算法只做小改,重点全在环境和数据
算法是 GRPO 的改造版:纯 0/1 答案正确性奖励(不给 format reward)、token-level policy gradient、DAPO 式 clip-higher 鼓励探索、leave-one-out 降低 advantage 方差、严格 on-policy(importance ratio 恒为 1)。关键工程经验:直接在未过滤的负样本上优化会导致训练不稳甚至 policy collapse,所以会剔除部分负样本(如超长未给出答案的轨迹)。作者的结论写得很直白:agentic RL 的成败更多取决于数据质量和环境稳定性,而非具体算法。
环境侧分三层:Prior World Environment(零成本、无真实反馈)、基于 2024 Wikipedia 数据库 + 本地 RAG 的模拟环境(先在'风洞'里快速验证算法,模拟环境的 reward 曲线与真实环境高度一致)、真实 Web 环境(统一 sandbox 封装五个工具,带 QPS 限流、缓存、超时重试、降级和备用数据源切换,防止 API 抖动污染训练轨迹)。RL 基建是基于 rLLM 的 step-level 异步 rollout:推理服务和工具调用服务分离,多 agent 实例并行独立跑轨迹。
数据课程也是自动的:先用 SFT 模型采样,过滤掉全对/全错的问题只留中等难度;训练中持续监控,用中间 checkpoint 从全量数据池挖掘'对变强后的模型而言中等难度'的新题,reward 平台期时换血。context length 消融很有意思:用同一套 64k 模型筛的课程训 32k/48k/64k 三个模型,64k reward 上限最高;而 32k 模型的响应长度反而持续下降——超长解法拿零奖励,倒逼它学会更精简的动作序列。
Heavy Mode:上下文管理支撑的 test-time scaling
Heavy Mode 部署 n 个并行 agent,各自按上下文管理范式独立探索并产出压缩的最终报告 S_T 和答案,再由一个 synthesis 模型汇总所有报告给出最终答案。要点在于压缩报告使 n 条完整轨迹的信息能塞进一个上下文窗口(直接拼完整轨迹 2-3 条就爆)。Heavy Mode 把 HLE 从 32.9 提到 38.3、BrowseComp 从 43.4 提到 58.3、BrowseComp-ZH 从 46.7 提到 58.1。另一条 scaling 维度是交互轮数:BrowseComp 性能随环境交互次数/上下文长度增长而持续上升。
关键结果
- 主结果(Avg@3,温度 0.85、最多 128 次工具调用、128K 上下文):HLE 32.9、BrowseComp 43.4、BrowseComp-ZH 46.7、GAIA 70.9、xbench-DeepSearch 75.0、WebWalkerQA 72.2、FRAMES 90.6,总参数 30.5B、激活 3.3B。
- Heavy Mode(并行研究 + 综合)再涨一截:HLE 38.3、BrowseComp 58.3、BrowseComp-ZH 58.1;Pass@3 更高:BrowseComp 59.64、BrowseComp-ZH 63.67、HLE 45.9,说明单次采样远未榨干模型潜力。
- 对比口径要注意:BrowseComp 上 OpenAI Deep Research 是 51.5、o3 是 49.7,都高于 Tongyi 的 43.4;BrowseComp-ZH 上 o3 的 58.1 也高于 46.7。'几乎所有基准第一'主要在 ReAct 类开源对手中成立。
- 新基准 xbench-DeepSearch-2510 上得分 55+,排在 ChatGPT-5-Pro(75+)之后,报告自己承认这一差距。
- RL 训练曲线:reward 随训练持续上升、policy entropy 短暂上升后稳定收敛,不塌不炸;模拟 Wiki 环境的 reward 曲线与真实环境高度一致,支持'先模拟后真实'的开发流程。
- Context length 消融:64k > 48k > 32k 的 reward 上限;32k 模型在为 64k 模型设计的课程上训练时响应长度反而下降,被逼学出更高效的解法。
- 通用能力不塌:AIME25、HMMT25、SimpleQA 上比只靠推理不用工具的 base model 有明显提升(搜索补知识、Python 补计算)。
- 作者自认的局限:128K 上下文对最难的长程任务仍不够;报告生成的忠实度仍在改进;RL 是严格 on-policy、效率有限,partial rollout 等 off-policy 技术是未来工作。
实证核查
与我们方向的关系
对 autoresearch 方向,这是目前最完整公开的'训练调研 agent'配方,价值在于把问题从 prompt 工程转到训练:如果要做自己的 research agent,可直接借鉴的组件包括(1)知识图谱随机游走 + 不确定性注入的 QA 合成(WebSailor/WebShaper 有独立论文和部分代码);(2)'先模拟环境验证算法、再上真实环境'的开发流程——本地 Wiki + RAG 模拟环境成本低且 reward 曲线与真实环境一致,适合算力有限的学术组;(3)自动难度课程(过滤全对/全错、动态换血)和'剔除坏负样本防 collapse'这类 RL 工程经验。
同时它也是一个很好的'读技术报告要核查'案例:benchmark 表的加粗口径、对搜索后端的强依赖、以及带搜索评测的答案泄漏问题,都是我们自己做 agent 评测时要主动规避的坑。若做复现,预期比报告值低若干个点是正常现象,搜索 API 用什么、页面摘要模型用什么都会显著影响分数。