songlab/deprecated-human_variants

该数据集名为Human variants，包含了来自ClinVar、COSMIC、OMIM和gnomAD的变异数据。ClinVar部分包含被人类标注为致病性的错义变异；COSMIC部分包含在癌症样本中频率至少为0.1%的体细胞错义变异（仅全基因组和全外显子测序）；OMIM部分包含被人类标注为致病性的调控变异；gnomAD部分包含所有常见变异（MAF > 5%）以及等量的罕见变异（MAC=1），仅包括常染色体。

license: MIT许可证
tags:
- DNA
- 变异效应预测
- 生物学
- 基因组学
---

# 人类变异数据集

本数据集为经人工甄选整理的变异集合，源自ClinVar、COSMIC、OMIM及gnomAD四大数据库。

在GPN-MSA论文中进行基准测试的模型预测结果可[从此处下载](https://huggingface.co/datasets/songlab/human_variants/resolve/main/variants_and_preds.parquet)。
功能注释文件可[从此处下载](https://huggingface.co/datasets/songlab/human_variants/resolve/main/functional_annotations.zip)。

如需了解更多信息，请查阅我们的[研究论文](https://doi.org/10.1101/2023.10.10.561776)及[代码仓库](https://github.com/songlab-cal/gpn)。

## 数据集来源

**ClinVar数据库**：
经人工标注者认定为"Pathogenic"的错义变异。

**COSMIC数据库**：
癌症样本中频率≥0.1%的体细胞错义变异（仅包含全基因组及全外显子组测序数据）。

**OMIM数据库**：
经人工标注者认定为"Pathogenic"的调控变异，该数据集由[此项研究](https://doi.org/10.1016/j.ajhg.2016.07.005)整理完成。

**gnomAD数据库**：
包含所有常见变异（次要等位基因频率（Minor Allele Frequency, MAF）>5%）及等量的稀有变异子集（等位基因计数（Allele Count, MAC）=1），仅纳入常染色体数据。

## 使用示例

python
from datasets import load_dataset

dataset = load_dataset("songlab/human_variants", split="test")

子集1——ClinVar致病变异与gnomAD常见错义变异（可指定`num_proc`参数以加速过滤）：
python
dataset = dataset.filter(lambda v: v["source"]=="ClinVar" or (v["label"]=="Common" and "missense" in v["consequence"]))

子集2——COSMIC高频变异与gnomAD常见错义变异：
python
dataset = dataset.filter(lambda v: v["source"]=="COSMIC" or (v["label"]=="Common" and "missense" in v["consequence"]))

子集3——OMIM致病调控变异与gnomAD常见非错义变异：
python
cs = ["5_prime_UTR", "upstream_gene", "intergenic", "3_prime_UTR", "non_coding_transcript_exon"]
dataset = dataset.filter(lambda v: v["source"]=="OMIM" or (v["label"]=="Common" and "missense" not in v["consequence"] and any([c in v["consequence"] for c in cs])))

子集4——gnomAD稀有变异与常见变异：
python
dataset = dataset.filter(lambda v: v["source"]=="gnomAD")

原始信息汇总

人类变异数据集

数据集概述

该数据集是从四个来源精心挑选的变异集合：ClinVar、COSMIC、OMIM 和 gnomAD。预测方法的基准可以在 这里 下载。功能注释可以在 这里 下载。

数据来源

ClinVar:

• 被人类标记为“致病性”的错义变异。

COSMIC:

• 在癌症样本中频率至少为 0.1% 的体细胞错义变异（仅包括全基因组和全外显子测序）。

OMIM:

• 被人类标记为“致病性”的调控变异，这些变异在 这篇论文 中进行了整理。

gnomAD:

• 所有常见的变异（MAF > 5%）以及同等大小的罕见变异子集（MAC=1）。仅包括常染色体。

使用方法

python from datasets import load_dataset

dataset = load_dataset("songlab/human_variants", split="test")

子集筛选

• ClinVar 致病性 vs. gnomAD 常见（错义）: python dataset = dataset.filter(lambda v: v["source"]=="ClinVar" or (v["label"]=="Common" and "missense" in v["consequence"]))

• COSMIC 频繁 vs. gnomAD 常见（错义）: python dataset = dataset.filter(lambda v: v["source"]=="COSMIC" or (v["label"]=="Common" and "missense" in v["consequence"]))

• OMIM 致病性 vs. gnomAD 常见（调控）: python cs = ["5_prime_UTR", "upstream_gene", "intergenic", "3_prime_UTR", "non_coding_transcript_exon"] dataset = dataset.filter(lambda v: v["source"]=="OMIM" or (v["label"]=="Common" and "missense" not in v["consequence"] and any([c in v["consequence"] for c in cs])))

• gnomAD 罕见 vs. gnomAD 常见: python dataset = dataset.filter(lambda v: v["source"]=="gnomAD")