Nhoodie/omni-dna-sad-mutation-dataset

--- license: apache-2.0 tags: - dna - genomics - mutation - synthetic - sad task_categories: - text-generation size_categories: - 1K<n<10K --- # Omni-DNA SAD Mutation Dataset Synthetic and real DNA mutation pairs for training cross-domain HGT mutation prediction models. ## Files | File | Pairs | Source | |------|-------|--------| | `synthetic_expanded.jsonl` | 8,112 | ICI dual-model generation (Omni + HyenaDNA consensus) | | `train.jsonl` | 3,317 | Real NCBI sequences | | `test.jsonl` | 826 | Real NCBI sequences (held-out) | ## Format Each line is a JSON object: ```json {"parent": "ATGGCT...", "child": "ATAGCT..."} ``` ## Generation Method (Synthetic Data) 1. **Source**: 1,014 real DNA sequences from diverse species 2. **FDI (Focus-Doped Interleaving)**: Every **3 codons** (9 bp), a 1-codon (3 bp) gap is introduced 3. **Dual-model consensus**: Omni-DNA-20M and HyenaDNA tiny-1k independently predict gap nucleotides 4. **Consensus tagging**: Agreement = `consensus`, disagreement = `contested` 5. **8 generation passes** with different gap intervals (3-6) and seeds, then deduplicated ### Key Statistics | Metric | Synthetic | Real (Train) | Real (Test) | |--------|-----------|-------------|-------------| | Mean mutation rate | 17.8% | 4.2% | 3.9% | | Mean sequence length | ~450 bp | ~350 bp | ~350 bp | | Consensus rate | 2.0% | N/A | N/A | ## Domains Sequences sourced from NCBI across diverse prokaryotic and archaeal species for cross-domain HGT analysis. ## SAD Coefficient The synthetic-to-real exposure ratio used in training: - **SAD Coefficient = 4.89** (81,120 synthetic exposures / 16,585 real exposures) - This is noted as too high — a coefficient of ~1.5 is recommended for future runs ## Citation If using this dataset, please also cite: - [Omni-DNA](https://huggingface.co/zehui127/Omni-DNA-20M) - [HyenaDNA](https://huggingface.co/LongSafari/hyenadna-tiny-1k-seqlen-hf)许可证：Apache-2.0 标签：脱氧核糖核酸（DNA）、基因组学、突变、合成、SAD 任务类别：文本生成 数据规模：1千至1万条样本 # Omni-DNA SAD 突变数据集 本数据集包含合成与真实脱氧核糖核酸（DNA）突变配对样本，用于训练跨域水平基因转移（Horizontal Gene Transfer, HGT）突变预测模型。 ## 数据集文件 | 文件名 | 样本配对数 | 数据来源 | |------|-------|--------| | `synthetic_expanded.jsonl` | 8,112 | ICI双模型生成（Omni + HyenaDNA 共识结果） | | `train.jsonl` | 3,317 | 真实美国国家生物技术信息中心（National Center for Biotechnology Information, NCBI）序列 | | `test.jsonl` | 826 | 真实NCBI序列（预留测试集） | ## 数据格式 每行均为一个JSON对象，格式如下： json {"parent": "ATGGCT...", "child": "ATAGCT..."} 其中`parent`为亲本DNA序列，`child`为突变后的子代DNA序列。 ## 合成数据生成方法 1. **数据来源**：来自不同物种的1014条真实DNA序列 2. **聚焦掺杂交错（Focus-Doped Interleaving, FDI）**：每3个密码子（9个碱基对（base pair, bp））引入1个密码子（3个碱基对）的间隙 3. **双模型共识**：Omni-DNA-20M与HyenaDNA tiny-1k分别对间隙处的核苷酸进行预测 4. **共识标记**：预测一致则标记为`consensus`，预测不一致则标记为`contested` 5. **多轮生成与去重**：采用不同的间隙间隔（3-6）与随机种子进行8轮生成，随后对生成结果进行去重处理 ### 关键统计指标 | 统计指标 | 合成数据集 | 真实训练集 | 真实测试集 | |--------|-----------|-------------|-------------| | 平均突变率 | 17.8% | 4.2% | 3.9% | | 平均序列长度 | 约450 bp | 约350 bp | 约350 bp | | 共识率 | 2.0% | 无适用数据（N/A） | 无适用数据（N/A） | ## 研究领域 本数据集的序列来源于NCBI数据库中不同的原核生物与古菌物种，用于跨域HGT分析。 ## SAD系数 训练过程中使用的合成数据与真实数据的曝光比例： - **SAD系数 = 4.89**（合成数据曝光量81,120 / 真实数据曝光量16,585） - 该系数过高，建议后续实验采用约1.5的系数 ## 引用说明 若使用本数据集，请同时引用以下文献： - [Omni-DNA](https://huggingface.co/zehui127/Omni-DNA-20M) - [HyenaDNA](https://huggingface.co/LongSafari/hyenadna-tiny-1k-seqlen-hf)