BIODSA-1K
收藏资源简介：
BIODSA-1K是一个用于评估人工智能代理在现实世界、数据驱动的生物医学假设验证任务上的性能的基准。该数据集包括1,029个以假设为中心的任务，每个任务配对1,177个分析计划，从超过300篇已发表的生物医学研究中精心挑选，以反映真实研究工作流程中的结构和推理。每个任务包括一个从原始研究的结论中得出的结构化假设，以肯定的形式表达，反映科学报告的语言，以及一个或多个基于实证数据表的支撑证据。该基准沿四个轴进行评估：假设决策的准确性、证据与结论的一致性、推理过程的正确性以及人工智能生成的分析代码的可执行性。重要的是，BIODSA-1K包括不可验证的假设：在现实世界科学中常见但未充分探索的场景，即现有数据不足以支持或反驳一个主张。我们提出BIODSA-1K作为构建和评估可推广、值得信赖的人工智能代理以进行生物医学发现的基础。
BIODSA-1K is a benchmark for evaluating the performance of AI Agents on real-world, data-driven biomedical hypothesis verification tasks. This dataset comprises 1,029 hypothesis-centric tasks, each paired with 1,177 analytical plans, curated from over 300 published biomedical studies to reflect the structure and reasoning inherent in real-world research workflows. Each task includes a structured hypothesis derived from the conclusions of original research, stated in affirmative form to mirror the language of scientific reports, alongside one or more pieces of supporting evidence grounded in empirical data tables. This benchmark is evaluated along four axes: accuracy of hypothesis-based decision-making, consistency between evidence and conclusions, correctness of reasoning processes, and executability of AI-generated analytical code. Notably, BIODSA-1K includes unverifiable hypotheses: scenarios common in real-world science but under-explored, where existing data are insufficient to either support or refute a claim. We present BIODSA-1K as a foundational resource for building and evaluating generalizable, trustworthy AI Agents for biomedical discovery.
BioDSA-1K 数据集概述
基本信息
- 数据集名称: BioDSA-1K: Benchmarking Data Science Agents for Biomedical Research
- 作者: Zifeng Wang1,2,, Benjamin Danek1,2,, Jimeng Sun1,2 (*Equal contribution)
- 机构:
- 1University of Illinois Urbana-Champaign
- 2Keiji.AI
- 论文: (coming soon)
- 代码: 🤗
- 数据集: 可用
摘要
BioDSA-1K 是一个用于评估AI代理在真实、数据驱动的生物医学假设验证任务上的基准。该基准包含：
- 任务数量: 1,029个以假设为中心的任务
- 分析计划: 1,177个
- 来源: 300多项已发表的生物医学研究
- 特点:
- 反映真实研究工作的结构和推理
- 包含结构化假设和基于实证数据表的支持证据
- 包含不可验证的假设（数据不足以支持或反驳的情况）
评估维度
- 假设决策准确性
- 证据与结论的一致性
- 推理过程的正确性
- AI生成分析代码的可执行性
数据集统计
- 研究类型: 来自329种出版物
- 数据表多样性: 展示不同大小的生物医学数据表（行数和列数的对数尺度）
示例
数据集包含从已发表的生物医学研究中提取的假设和分析示例，例如：
- 示例1: Grommes, 2024
- 示例2: McIntyre, 2024
- 示例3: Jee, 2024
具体示例
-
PMID: 38995739
- 标题: "A Phase II Study Assessing Long-term Response to Ibrutinib Monotherapy in Recurrent or Refractory CNS Lymphoma."
- 假设:
- Ibrutinib单药治疗在复发性或难治性原发性中枢神经系统淋巴瘤（PCNSL）患者中有效。
- TBL1XR1突变与PCNSL患者对Ibrutinib的长期反应相关。
- 脑脊液中ctDNA的清除与Ibrutinib的完全和长期反应相关。
-
PMID: 39214094
- 标题: "Distinct clinical outcomes and biological features of specific KRAS mutants in human pancreatic cancer."
- 假设:
- KRASG12R突变与KRASG12D突变相比，PDAC患者的生存率更高。
- KRASG12R突变在早期（I期）PDAC中富集。
- KRASG12R肿瘤比KRASG12D肿瘤具有更高的淋巴结阴性率。
- KRASG12D肿瘤表现出更强的上皮-间质转化（EMT）。
- KRASG12R肿瘤显示更高的核因子κB（NF-κB）信号传导。
-
PMID: 39506116
- 标题: "Automated real-world data integration improves cancer outcome prediction."
- 假设:
- 包含自然语言处理特征的模型在预测总生存期方面优于仅基于基因组数据或分期的模型。
- SETD2突变与免疫治疗治疗的肺腺癌中较低的转移潜能相关。
基准测试结果
- 假设验证:
- AI代理在假设验证中趋于保守，漏检率高于假阳性率。
- 增强推理的ReAct和CodeGen模型优于其基础版本，ReAct方法在复杂领域（如基因组学）表现更佳。
- 不可验证假设:
- CodeGen方法在生成不可执行代码时有时会错误地假设假设为真或假。
- 对于不可验证的假设，ReAct方法更可能做出正确决策。
引用
bibtex @article{wang2025biodsa, title = {BioDSA-1K: Benchmarking Data Science Agents for Biomedical Research}, author = {Wang, Zifeng and Danek, Benjamin and Sun, Jimeng}, year = {2025}, }
- 1BioDSA-1K: Benchmarking Data Science Agents for Biomedical Research伊利诺伊大学厄巴纳-香槟分校 · 2025年
