DO Challenge

DO Challenge是一个用于评估AI代理在药物发现领域的决策能力的数据集。数据集包含一百万个独特的分子构象，每个构象都有一个自定义的标签，称为DO Score，表示其作为有效药物候选者的潜力。代理的目标是开发一种计算方法，从数据集中识别出前一千个具有最高DO Score的分子结构。数据集来源于Enamine REAL Database，经过筛选和对接模拟处理。该数据集旨在模拟虚拟筛选场景，要求代理在资源受限的环境中独立地开发、实施和执行有效的策略，以识别有前景的分子结构。

搜集汇总

数据集介绍

构建方式

DO Challenge 数据集构建方法基于虚拟筛选场景，通过对接模拟技术生成了一百万个独特的分子构象，并为每个构象计算了自定义的DO Score。该评分结合了治疗靶点（6G3C）的结合亲和力与ADMET相关蛋白（1W0F、8YXA、8ZYQ）的抑制惩罚，通过两个逻辑回归分类器的平均概率预测生成。数据集源自Enamine REAL Database的分子采样，经过重原子数过滤后，使用Balto对接技术生成每个分子的前5个构象，最终形成包含200,000个分子（共1,000,000个构象）的基准集。

使用方法

使用DO Challenge数据集时，AI代理需自主开发完整的计算流程：首先通过RDKit处理SDF格式的分子结构，在未知DO Score的初始状态下，策略性地选择不超过100,000个结构进行标签查询。典型流程包括构建预测模型（如GNNs或3D CNNs）、实施主动学习策略优化样本选择，并最终提交3,000个候选结构。评估分为限时（10小时）和无限时两种模式，支持Python客户端与服务器交互。用户需注意坐标敏感性，避免使用旋转/平移不变特征，并充分利用多次提交机会迭代优化策略。

背景与挑战

背景概述

DO Challenge数据集由Deep Origin团队于2025年推出，旨在评估人工智能代理在药物发现领域的综合决策能力。该数据集聚焦于虚拟筛选场景，包含100万个分子构象及其自定义的DO Score标签，模拟真实药物研发中资源受限的决策环境。作为首个整合分子空间探索、模型选择和多目标优化的基准，它填补了传统预测性任务评估与端到端药物研发流程之间的空白，为AI驱动的药物发现提供了标准化评估框架。核心研究团队包括Khachik Smbatyan等来自Deep Origin的科学家，其创新性在于将分子对接模拟与机器学习预测相结合，构建了具有明确生物医学意义的评估指标。

当前挑战

该数据集面临双重挑战：在领域问题层面，需解决化学空间探索的高维度难题（10^60潜在分子）、多目标优化（药效与安全性平衡）以及有限实验预算下的主动学习策略；在构建过程中，挑战包括分子对接计算的巨大计算成本（每个分子需对4个靶蛋白进行20次构象评估）、ADMET相关蛋白的选择合理性验证，以及确保DO Score与真实结合活性的相关性（经DUD-E数据集验证富集倍数达8.41倍）。此外，基准设计需平衡任务复杂性（允许3次提交、10%标签查询）与可重复性，同时防止数据泄露对后续研究的干扰。

常用场景

经典使用场景

DO Challenge数据集作为评估AI代理在药物发现中决策能力的基准，其经典使用场景集中在虚拟筛选流程的模拟。研究者通过该数据集测试AI系统在资源受限条件下，从百万级分子库中识别潜在药物候选分子的能力。数据集要求代理自主开发策略，涉及化学空间探索、预测模型选择及多目标优化等关键环节，模拟真实药物研发中的计算挑战。

解决学术问题

该数据集解决了药物发现领域两个核心学术问题：一是传统实验方法的高成本与低效率问题，通过AI驱动的计算筛选显著减少湿实验依赖；二是现有基准的碎片化缺陷，提供端到端的评估框架以测试代理的自主决策、代码开发和执行能力。其创新性评分系统DO Score整合了治疗靶点结合与ADMET性质预测，为分子优化提供了多目标量化标准。

实际应用

在制药工业中，DO Challenge数据集可直接应用于先导化合物筛选的算法开发。例如，医药企业可通过该基准测试其AI系统的虚拟筛选效率，优化活性分子发现流程。数据集模拟的真实约束条件（如10万次标签请求限制）有助于评估算法在工业级数据规模下的实用性，加速从计算预测到实验验证的转化。

数据集最近研究

最新研究方向

近年来，DO Challenge数据集在药物发现领域的研究方向主要集中在利用自主AI代理系统进行虚拟筛选策略的优化。该数据集通过模拟真实药物发现中的复杂决策环境，评估AI代理在资源受限条件下开发、实施和执行高效分子筛选策略的能力。前沿研究包括多目标优化、化学空间探索和模型选择，以及如何利用大型语言模型（如Claude 3.7 Sonnet、Gemini 2.5 Pro和o3）提升代理系统的性能。此外，研究还关注AI代理与人类专家在药物发现任务中的性能差距，以及如何通过改进系统架构和算法设计来缩小这一差距。

相关研究论文

• Can AI Agents Design and Implement Drug Discovery Pipelines?

  Deep Origin · 2025年