Nova: An Iterative Planning and Search Approach to Enhance Novelty and Diversity of LLM Generated Ideas
这是什么
已有的 LLM idea 生成系统(AI-Researcher、AI-Scientist、ResearchAgent)有个公认的毛病:多生成几十个想法后就开始重复、趋同,因为模型只在自身参数知识和一次性检索的少量文献里打转。Nova 的出发点是把'创新'看成一个知识获取问题——想法不够新,是因为没有主动去搜没见过的知识。
解法是一个三阶段 pipeline(见架构图):先从输入论文 + 引文 + 10 条科学发现方法论(基于 Kuhn 范式理论等)生成 15 个初始 seed idea;然后进入核心的迭代环节——让 LLM 针对每个 seed idea 规划'还需要哪些领域的知识',据此检索论文(自建 2022-2024 arXiv AI/NLP/CV 语料的 FAISS 检索),结合新知识把每个 idea 扩展成 10 个再自反思筛到 3 个,迭代 3 轮后得到 405 个 seed idea,k-means 聚成 100 类取中心输出;最后按 Si et al. 2024 的模板补全成完整 proposal。
机制与做法
迭代 planning + search 是唯一的新东西
与基线的差别不在检索本身(ResearchAgent 也检索),而在于检索目标由 LLM 根据当前 idea 动态规划(in-context learning 引导,而非实体/关键词匹配),且每轮用新检索到的知识替换掉旧 seed idea,搜索空间按 3 倍/轮扩张。消融显示 unique novel idea 数随迭代步单调上升:第 0/1/2/3 轮分别为 14.7/26.9/41.3/50.6 个(每 100 个想法中)。
初始生成阶段的辅助模块:knowledge tracking(按社交媒体/GitHub 热度追踪最新论文并让 LLM 总结趋势)、10 条科学发现理论作提示模板、self-check/self-critique/reflection 三种自纠错。这些都是 prompt 工程,没有训练。
评估方式
自动评估:170 篇 seed 论文(CVPR/ACL/ICLR 2024 高引 + HF Daily Papers),每篇每方法生成 100 个 idea,用 Claude-3.5-Sonnet 做 zero-shot pairwise 比较的 Swiss Tournament(5 轮)打分;novelty 用检索 top-10 相关论文 + all-MiniLM-L6-v2 embedding 相似度(阈值 0.3)判定;diversity 用去重比例(阈值 0.8),Nova 超过 80% non-duplicate,明显高于基线。
人评:10 位 NLP/ML/CV 方向 PhD/教授,20 个 topic,每 topic 从每个方法按自动评估分位数抽 5 个 idea 共 20 个。Nova 在人评 top-4 想法中占 37.5%(4 方法均分基准是 25%),worst-4 中只占 17.53%——方向与自动评估一致,但优势幅度远没有 Swiss 分数(2.5 倍)那么悬殊。
关键结果
- Swiss Tournament 中 Nova 得 4 分/5 分的想法数为 619/2521,top 分想法数约为 Research-Agent(223)、AI-Researcher(237)、AI-Scientist(249)的 2.5 倍以上。
- 迭代消融:unique novel idea 数从第 0 轮 14.7 涨到第 3 轮 50.6(每 100 个),即标题里的 3.4 倍;且方差随迭代收窄。
- diversity:生成量增大时基线的非重复率快速下降,Nova 保持在 80% 以上。
- 人评中 Nova 占 top-4 想法的 37.5%、worst-4 的 17.53%,novelty 维度模式类似——领先成立,但幅度温和。
- 整个方法零训练,纯 prompt 工程 + 检索编排;每轮 3 倍扩张意味着 token 成本也按倍数涨,论文没有报告成本。
实证核查
与我们方向的关系
对 autoresearch 方向的直接启示:idea 同质化不是采样温度问题,而是知识边界问题——'让 LLM 自己规划要检索什么'比关键词/实体检索更能把想法推离初始论文的邻域,消融里 novelty 随迭代单调上升(14.7→50.6)是这一点最有说服力的证据。做 idea 生成模块时,'plan-then-retrieve 迭代 + 每轮替换 seed pool + 最后聚类去重'这套编排可以直接借用,成本是 token 用量按 3^T 增长。
另一个可借鉴/需警惕的点是评估:本文再次示范了 LLM-judge(Swiss Tournament)与人评的差距——同一组系统,LLM judge 给出 2.5 倍差距,人评只有 1.5 倍。自己做 idea 质量评估时应把 LLM judge 的倍数打折看待。