AfterQuery/OmicsBench-grader-databases

OmicsBench Grader Databases是一个用于OmicsBench中确定性评分的同义词数据库集合，支持计算生物学中AI编码代理的现实主义基准测试。该数据集包含来自五个来源数据库（NCBI Gene、NCBI Taxonomy、HMDB、miRBase和CARD）的数据，用于识别基因、生物分类、miRNA、代谢物和抗菌素耐药性基因的同义词匹配，例如将TP53和tumor protein p53识别为同一基因，hsa-miR-21-5p和MIMAT0000076识别为同一miRNA，以及E. coli和Escherichia coli识别为同一生物体。数据集以单个只读SQLite文件（grader_databases.sqlite，约22 GB）提供，包含五个表，每个表对应一个源数据库，支持高效的索引查询和低内存使用。它适用于多线程环境，并可通过OmicsBench库或直接SQLite访问使用。数据集的来源数据库保留其上游许可，定期随上游更新而重建。

许可证：MIT许可证
标签：
- 基因组学
- 生物信息学
- 基准测试
- 分级
- 同义词
- 数据库
- ncbi-gene
- ncbi-taxonomy
- mirbase
- hmdb
- card
美观名称：OmicsBench分级数据库
规模类别：100M<n<1B

# OmicsBench分级数据库

本数据集为[OmicsBench](https://github.com/AfterQuery/OmicsBench)中的确定性分级提供同义词数据库支持，OmicsBench是一款面向计算生物学领域AI编码智能体（AI Agent）的现实主义优先基准测试集。

OmicsBench内置了数十个针对高度特化生物输出的预构建分级器。本数据集为这些分级器背后的同义词感知匹配提供支撑，可将*TP53*与*tumor protein p53*识别为同一基因，*hsa-miR-21-5p*与*MIMAT0000076*识别为同一微小RNA（miRNA），*E. coli*与*Escherichia coli*识别为同一生物体。

## 格式

本数据集为单个只读SQLite文件`grader_databases.sqlite`（约22 GB），包含5张数据表——每张对应一个源数据库。查找列在构建阶段已完成预小写转换（完整Unicode的`str.lower()`操作），并通过复合索引覆盖，因此运行时查询为直接索引查找，进程内存复杂度仅与查询结果规模相关，而非数据库整体大小。

| 表名 | 列名 | 行数 | 源数据库 | 描述 |
|---|---|---|---|---|
| `ncbi_gene` | `organism_lower name_lower gene_id` | ~219M | [NCBI基因（NCBI Gene）](https://www.ncbi.nlm.nih.gov/gene/) | 按生物体范围的基因符号、同义词、描述、Entrez基因ID及Ensembl标识符解析 |
| `ncbi_taxonomy` | `name_lower canonical_name` | ~3.2M | [NCBI分类学（NCBI Taxonomy）](https://www.ncbi.nlm.nih.gov/taxonomy) | 所有分类单元的科学名称、通用名称、缩写及同义词解析 |
| `hmdb` | `name_lower accession` | ~1.5M | [人类代谢组数据库（HMDB）](https://hmdb.ca/) | 代谢物名称、同义词、IUPAC名称及HMDB登录号解析 |
| `mirbase` | `name_lower accession` | ~157K | [miRBase数据库](https://mirbase.org/) | 微小RNA前体及成熟体名称/登录号解析，包含已废弃条目映射至有效替代项 |
| `card` | `name_lower aro_accession` | ~19K | [抗生素耐药基因数据库（CARD）](https://card.mcmaster.ca/) | 抗菌耐药基因名称、同义词及ARO登录号解析 |

其中三张数据表（`ncbi_taxonomy`、`hmdb`、`mirbase`）采用`WITHOUT ROWID`结构并以`PRIMARY KEY(name_lower)`作为主键，且通过`INSERT OR IGNORE`语句构建，因此任意小写名称的首次出现将被保留。剩余两张数据表（`ncbi_gene`、`card`）为一对多关系，允许每个查找键对应多行数据——`gene_match`与`amr_match`函数会在查询时执行集合交集操作。

## 使用方法

直接安装OmicsBench并调用匹配函数即可；首次使用时会自动完成下载与缓存。

示例代码如下：
python
from omicsbench.grading import (
gene_match,
taxonomy_match,
mirna_match,
metabolite_match,
amr_match,
)

gene_match("TP53", "tumor protein p53", organism="Homo sapiens") # True
taxonomy_match("E. coli", "Escherichia coli") # True
mirna_match("hsa-miR-21-5p", "MIMAT0000076") # True
metabolite_match("Dextrose", "D-Glucose") # True
amr_match("mecA", "PBP2A") # True

每个匹配函数均为单个索引SQL查询的轻量封装，辅以不区分大小写的字符串相等性回退逻辑（当任一匹配项未在数据库中存在时启用，避免因分布外输入导致程序崩溃）。公共API签名、返回类型及回退语义与此前基于TSV的版本保持一致——用户仅需升级`omicsbench`包版本即可完成迁移。

每个查找模块会在首次使用时创建线程本地的只读连接，并配置读取优化的PRAGMA参数（`query_only=1`、`cache_size=-20000`、`temp_store=MEMORY`、`mmap_size=268435456`），因此本数据集可在多线程消费场景（如OmicsBench异步编排器）下正常运行。SQLite通过共享文件锁支持无限量并发读取。

## 直接访问

若无需安装OmicsBench而自行查询数据表，可采用只读方式打开文件：
python
import sqlite3
from huggingface_hub import hf_hub_download

path = hf_hub_download(
repo_id="AfterQuery/OmicsBench-grader-databases",
filename="grader_databases.sqlite",
repo_type="dataset",
)
conn = sqlite3.connect(f"file:{path}?mode=ro", uri=True)

rows = conn.execute(
"SELECT gene_id FROM ncbi_gene "
"WHERE organism_lower = ? AND name_lower = ?",
("homo sapiens", "tp53"),
).fetchall()

所有查找列均已预转换为小写形式；在Python中绑定查询参数前，请先将输入转为小写。数据表架构在各版本间保持稳定：任何架构变更都将作为本数据集的重大修订版本发布。

## 来源与许可

五个源数据库保留其上游许可证。OmicsBench将其打包为单个SQLite文件以实现高效运行时访问；完整的ETL流水线及分步操作手册可参见[OmicsBench GitHub仓库](https://github.com/AfterQuery/OmicsBench)的`scripts/databases/`目录及`scripts/databases/README.md`文件。
每当上游源数据库发布新版本时，本数据集将以新修订版本的形式发布更新。