Assisting in Writing Wikipedia-like Articles From Scratch with Large Language Models (STORM)
这是什么
这篇 NAACL 2024 论文研究的问题是:给定一个 topic,让 LLM 像人一样先'做调研'再写作,最终产出一篇每句话都带引用、结构接近维基百科的长文。作者认为难点不在写作本身,而在 pre-writing 阶段——怎么研究这个主题、收集哪些资料、组织成什么大纲。这和之前的 Wikipedia 生成工作(给定参考文档做多文档摘要,或只生成一段)有本质区别:STORM 的设定是 domain 不限、不给大纲、不给参考文献,全靠系统自己检索。
核心洞察是'自动调研的关键是自动提出好问题'。直接让 LLM 对一个 topic 提问,只能问出 when/where 这类浅层问题;STORM 用两个策略加深提问:一是从相似主题的维基文章目录里发现多个'视角'(perspective),让 LLM 带着特定角色提问(如'活动策划人'会问 2022 冬奥开幕式的预算和交通);二是模拟'维基作者 vs 主题专家'的多轮对话,专家的回答 grounded 在互联网检索结果上,作者读了回答再追问,形成动态加深的提问链。
为了评测,论文还构建了 FreshWiki 数据集:取 2022-02 到 2023-09 每月编辑次数 top 100 的英文维基页面,过滤到 B-class 质量以上,规避 LLM 训练数据泄漏;并提出用 heading soft recall / heading entity recall 两个大纲级指标来单独评估 pre-writing 阶段。这套'早于写作先评大纲'的评测思路后来被不少调研 agent 工作沿用。
机制与做法
Perspective 发现与多视角提问
给定 topic t,先让 LLM 生成一组相关主题,通过 Wikipedia API 抓取这些主题现有文章的目录(table of contents),拼接后再让 LLM 从中归纳出 N 个视角(N=5)。另外固定加一个 p0 = 'basic fact writer',保证基础信息不漏。每个视角并行驱动一条独立的提问线。消融显示视角的作用主要体现在信息多样性:去掉 perspective 后收集到的 unique 参考源从平均 99.83 个掉到 54.36 个。
模拟对话:作者提问、专家检索作答
每个视角下模拟一场最多 M=5 轮的对话:LLM 扮演的'维基作者'根据 topic、视角和对话历史生成一个问题;'专家'一侧先把问题拆成若干搜索 query,用 You.com search API 检索,再按维基'可靠来源'指南做规则过滤,最后综合可信来源生成回答。所有可信来源进入参考集 R,供后面写正文用。消融里'w/o Conversation'(一次性生成同等数量的问题、不看回答)效果最差——heading entity recall 从 40.52 掉到 31.98(GPT-3.5),说明'读到新信息才能问出好问题'是这套设计的关键。
大纲两步生成 + 分节写作
大纲生成分两步:先让 LLM 只看 topic 直接产出草稿大纲(利用参数化知识给出通用框架),再把 N+1 场对话喂进去 refine 成最终大纲。写作阶段按 section 并行生成:用各级标题做 query、以 Sentence-BERT 语义相似度从 R 中检索相关文档,生成带引用的正文,最后拼接、去重、写 lead section。整个 pipeline 用 DSPy 零样本 prompting 实现,提问用 gpt-3.5-turbo,写作用 gpt-4。消融证明大纲阶段不可省:去掉后 ROUGE-1 从 45.82 掉到 26.77,entity recall 从 14.10 掉到 7.39。
关键结果
- 大纲质量:GPT-3.5 下 STORM 的 heading soft recall 86.26 / entity recall 40.52,显著高于 Direct Gen(80.23/32.39)和 RAG(73.59/33.85);有趣的是 RAG 在弱模型上比直接生成还差——把未组织的检索结果塞进上下文反而干扰大纲生成。
- 全文质量(GPT-4 写作):STORM ROUGE-1 45.82、entity recall 14.10,均显著优于最强 baseline oRAG(44.26/12.57);Prometheus 评分在 Interest/Relevance/Coverage 上显著更高。
- 10 位资深维基编辑(500+ 编辑记录)人评 20 对文章:STORM 在 Organization 上达标率(≥4 分)70% vs oRAG 45%(p=0.005),Coverage 67.5% vs 57.5%;pairwise 偏好 26:14。但 Verifiability 反而略低于 oRAG(3.80 vs 3.85)。
- 引用质量:Mistral 7B-Instruct 判定 84.83% 的句子被引用支持;错误分析显示不支持的句子主要来自不当推断和不准确转写,而非凭空捏造。
- 编辑们一致(100%)认为 STORM 对 pre-writing 阶段有帮助,80% 认为能帮自己写新主题条目;但也指出生成文章信息量不如真实维基页面,且 7/10 的编辑提到文章有'情绪化/不中立'问题——检索来源的偏见和语气被转移进了文章(source bias transfer)。
- 人评还发现比事实幻觉更隐蔽的问题:red herring / over-association,即把 R 里不相关的信息之间强行建立联系,超出基本 fact-checking 的范畴。
实证核查
与我们方向的关系
这是深度调研(Deep Research)范式的学术源头之一,比 OpenAI Deep Research 早约一年。它把'调研质量取决于提问质量'这个观点做成了可操作的两个机制——perspective-guided questioning 和 grounded simulated conversation,消融数字(unique 来源 99.83 vs 54.36 vs 39.56)清楚地量化了每个机制的贡献,做调研 agent 的提问/搜索策略设计时可以直接借鉴这套消融框架。
另外两点对课题组有直接参考价值:一是'先评大纲再评全文'的分阶段评测(heading soft recall / entity recall),把长文评测这个难题拆成了可自动化的代理指标;二是人评暴露的两个失败模式——source bias transfer(检索来源的语气/立场渗入产出)和 over-association(把不相关信息强行关联)——是所有 RAG 长文系统的共性问题,比事实幻觉更难用 fact-checking 兜底,值得在我们自己的系统评测里显式设检查项。