ASSAYBENCH
收藏资源简介：
ASSAYBENCH是由基因泰克研究团队构建的大规模表型筛选预测基准数据集，旨在评估计算模型在虚拟细胞模拟中的性能。该数据集整合了1920个公开可用的CRISPR筛选实验，涵盖细胞适应性、化学响应、宿主-病原体互作等五大表型类别，每个实验平均评估约13,826个基因，数据来源于BioGRID ORCS数据库及最新文献。其构建过程通过数据质量过滤、重复实验合并、表型方向标注等流程，将每个筛选实验转化为基于文本描述的条件基因排序任务。该数据集主要应用于计算生物学和药物发现领域，致力于解决表型筛选的硅基预测问题，为构建虚拟细胞模型和优化大语言模型在生物扰动预测中的表现提供标准化测试平台。
ASSAYBENCH is a large-scale phenotypic screening prediction benchmark dataset developed by the Genentech research team, designed to evaluate the performance of computational models in virtual cell simulations. This dataset integrates 1,920 publicly available CRISPR screening experiments, covering five major phenotypic categories including cell fitness, chemical response, host-pathogen interaction, and others. Each experiment evaluates an average of approximately 13,826 genes, with data sourced from the BioGRID ORCS database and recent peer-reviewed literature. Its construction pipeline includes data quality filtering, duplicate experiment consolidation, phenotypic direction annotation and other standardized procedures, converting each screening experiment into a conditional gene ranking task based on textual descriptions. This dataset is primarily applied in computational biology and drug discovery, aiming to address the in silico prediction challenges of phenotypic screening, and provides a standardized testing platform for constructing virtual cell models and optimizing the performance of large language models (LLMs) in biological perturbation prediction.
AssayBench 数据集概述
AssayBench 是一个用于评估机器学习模型在表型筛选预测任务上性能的基准测试数据集。
数据集核心信息
- 来源：Genentech 研究团队
- 目的：评估机器学习模型对 CRISPR 筛选结果的预测能力
- 数据集加载：通过
AssayBenchDataset从 HuggingFace（Genentech/assaybench）加载 - 评估指标：使用
RankingMetrics计算排名指标
数据集结构
数据字段
每个筛选样本（screen）包含以下字段：
| 字段 | 类型 | 描述 |
|---|---|---|
question |
str | 描述筛选任务和排名任务的提示 |
relevance_genes |
list[str] | 筛选库中的所有基因 |
relevance_scores |
list[float] | 每个基因的阈值化百分位分数（越高越相关） |
hit |
list[bool] | 每个基因是否为筛选命中基因 |
dataset_name |
str | 筛选标识符 |
screen_ids |
list[int] | BioGRID 筛选ID（多个ID表示合并的重复筛选） |
phenotype |
str | 完整表型描述 |
cleaned_phenotype |
str | 粗粒度表型类别（如"适应度/增殖/活力"） |
condition_clause |
str | 实验条件（如药物处理、剂量） |
cell_type |
str | 筛选使用的细胞类型 |
cell_line |
str | 细胞系名称 |
screen_type |
str | 选择类型（如"正向选择"、"负向选择"） |
library_methodology |
str | 筛选方法（如"敲除"、"激活"） |
screen_rationale |
str | 筛选的科学原理 |
screen_category |
str | 筛选方向性（如"单向"、"双向"） |
num_genes |
int | 筛选库中的基因数量 |
author |
str | 发表作者和年份（如"Wang T (2014)"） |
source_id |
str | 源文献的PubMed ID |
split |
str | 数据划分：train、validation、test 或 novel_dataset |
answer |
str | 按相关性分数排名前10的基因（逗号分隔，供参考） |
数据划分
数据集支持基于年份的划分方式，通过 split_type="year" 参数指定，并提供 train、validation、test 和 novel_dataset 四个子集。
评估指标
RankingMetrics.evaluate() 返回的指标包括：
| 指标 | 描述 |
|---|---|
ndcg@k |
归一化折损累计增益（使用分级相关性分数衡量排名质量） |
adjusted_ndcg@k |
针对随机性能调整后的nDCG——主要基准指标（AnDCG） |
precision@k |
前k个预测中命中基因的比例 |
normalized_precision@k |
按真阳性数归一化的精确率（NPrecision） |
fdr@k |
前k个预测中非命中基因的比例（错误发现率） |
normalized_fdr@k |
按真阴性数归一化的FDR |
recall@k |
前k个预测中恢复的真命中基因比例 |
auroc |
全排名列表上的ROC曲线下面积 |
mrr |
平均倒数排名（第一个命中的排名的倒数） |
hallucination_rate |
预测基因不在筛选库中的比例 |
hit_scaled_ndcg@k |
使用二元命中标签而非分级相关性计算的nDCG |
hit_scaled_adjusted_ndcg@k |
使用二元命中标签的调整后nDCG |
默认计算所有指标组，可通过 metric_groups 参数限制为子集。
自定义提示模板
可在创建 AssayBenchDataset 时通过 prompt_template 字符串参数自定义提示模板，支持的占位符包括：
{cell_line}- 细胞系名称{cell_type}- 细胞类型描述{library_type}- 文库类型{library_methodology}- 方法学{experimental_setup}- 实验设计{duration}- 筛选持续时间{condition_clause}- 条件详情{phenotype}- 表型描述{significance_criteria}- 命中调用的统计阈值{ranking_rationale}- 基因排名依据{notes}- 附加筛选注释
安装方式
bash pip install git+ssh://git@github.com/Genentech/AssayBench.git
或克隆仓库后以可编辑模式安装：
bash git clone git@github.com:Genentech/AssayBench.git && cd AssayBench pip install -e .
- 1AssayBench: An Assay-Level Virtual Cell Benchmark for LLMs and Agents基因泰克 · 2026年
