LAB-Bench: Measuring Capabilities of Language Models for Biology Research
这是什么
LAB-Bench(Language Agent Biology Benchmark)针对的问题是:已有的科学基准(MMLU、GPQA 之类)测的是'教科书式'知识问答,而不是科研工作者每天实际在做的事。它把生物研究拆成 8 大类、30 个子任务,共 2,457 道多选题:文献召回与推理(LitQA2)、补充材料查找(SuppQA)、图表解读(FigQA/TableQA)、数据库查询(DbQA)、实验方案排错(ProtocolQA)、DNA/蛋白序列理解与操作(SeqQA),以及 41 道'human-hard'的分子克隆场景题(Cloning Scenarios,训练有素的分子生物学家也要 10-60 分钟一题)。
设计上有几个值得注意的点:每道题都给模型'信息不足、拒绝作答'的选项,因此同时报 accuracy(对/全部)、precision(对/作答)和 coverage(作答率)三个指标;公开 80%、私留 20% 用于监测训练污染,且数据里埋了 canary string;LitQA2/SuppQA/DbQA 这类题被刻意设计成'需要检索工具才能答',用于评测 RAG/agent 系统,而论文自己的基线只测了无工具的裸模型。
机制与做法
题目怎么造的
两条路线:LitQA2、SuppQA、FigQA、TableQA、ProtocolQA、CloningScenarios 由作者和外聘生物专家手工出题(FigQA/TableQA 用了一个有意思的技巧——让模型先生成 prototype 题,人类基于其中'模型自己都答不对/说胡话'的部分改写,相当于主动挖模型推理的 null space);SeqQA(15 个子任务,如 PCR 引物设计、限制性酶切片段数、ORF 翻译效率)和 DbQA(10 个子任务,对着 Ensembl、miRDB、GTRD 等数据库的特定版本出题)则程序化生成,便于扩量。
评测结果
对 7 个模型(Claude 3.5 Sonnet / 3 Opus / 3 Haiku、GPT-4o / 4-turbo、Gemini 1.5 Pro、Llama-3-70B)做无工具 zero-shot 评测,并招募 PhD 级生物研究者做人类基线(允许用互联网和序列软件,不允许用 AI;覆盖 69% 题目)。人类在几乎所有类别上大幅领先:如 SuppQA 人类 accuracy 约 0.85 vs 最好模型不到 0.15,LitQA2 上多个前沿模型因频繁拒答 accuracy 低于随机。仅有的例外是 TableQA——Claude 3.5 Sonnet 的 precision 反超人类;FigQA 上 3.5 Sonnet 也显著甩开其他模型(其余都接近随机)。
Cloning Scenarios 上所有模型 precision 虽略高于随机,但作者做了开放式作答的对照实验:Claude 3.5 Sonnet 和 GPT-4o 都只有 0.20 accuracy,答对的两题还是靠'猜最常见的酶/抗生素'(BsaI、Ampicillin)蒙的——说明多选题的高于随机主要来自排除干扰项,不是真会做克隆设计。
关键结果
- 共 2,457 题、8 大类 30 子任务;公开 80%,私留 20% 监测污染;发布前私有/公开集上模型 accuracy 差异在 5 个百分点以内,当时未见污染迹象。
- 人类专家(可用工具)全面大幅领先无工具模型,accuracy/precision/coverage 三项几乎全部占优;唯一被追平/反超的是 TableQA(Claude 3.5 Sonnet precision 超过人类)。
- FigQA 是模型最难的类别:除 Claude 3.5 Sonnet 外全部接近随机 precision(~0.25)。
- 需要检索的类别(LitQA2/SuppQA/DbQA)模型大量拒答:部分前沿模型 LitQA2 coverage 低于 20%,SuppQA coverage 最低,导致 accuracy 低于随机——precision 视角下则约 0.4。
- SeqQA 各子任务差异极大:简单引物选择题模型 precision 可超 0.9 甚至逼平人类,长序列操作类则远低于人类;ORF-transeff 上 Claude 3.5 Sonnet 以 0.88 vs 0.75 反超人类。
- Cloning Scenarios 开放作答对照:Claude 3.5 Sonnet 与 GPT-4o 均仅 0.20 accuracy(10 题),多选下的高于随机主要靠排除法。
- 作者明确承认两处局限:人类基线不完全公平(人可用工具、模型不可);Cloning Scenarios 人类基线因专家嫌费时不愿做,可能被低估。
实证核查
与我们方向的关系
对课题组做 AI Scientist / autoresearch 评测最有参考价值的是它的任务分解思路:把'科研能力'落到文献检索、supplementary 挖掘、图表读取、数据库版本化查询、序列操作这些可验证的原子操作上,而不是笼统的'科学问答'。其中'accuracy/precision/coverage 三指标 + 显式拒答选项'的设计,以及'公开 80% + 私有 20% 监测污染 + canary string'的发布方式,都可以直接抄。
另一个可借鉴点是 human-hard 题的定位:作者认为 Cloning Scenarios 这类'专家也要 10-60 分钟'的题,高分可能是 AI 助手有实用价值的 necessary and sufficient 条件,并提出用'human proof-of-possibility'替代传统人类基线——这对我们设计超出人类便捷标注能力的评测任务是个现成的方法论。注意它测的是裸模型,LitQA2/DbQA 等类别天然为 agent+工具设计,拿来做 agent 系统的领域对照基准很合适(FutureHouse 自己就用它评 PaperQA2)。