evo2_dataset

<p align="center"> <strong> <span style="font-size: 30px;">Evo2 Dataset</span> </strong> </p> ## 数据集介绍 Evo2 Dataset 是适配 `OneScience/evo2/` 的 Evo2 mini 基因组数据集，包含人类 chr20、chr21、chr22 的 FASTA、压缩 FASTA、合并 FASTA，以及已经按 Byte-Level tokenizer 预处理好的 train、validation、test `.bin/.idx` split。 该数据集不是完整 OpenGenome2 数据集，不用于复现全量预训练规模；它用于 Evo2 标准模型仓库的预检、FASTA 预测输入和 mini 训练或微调冒烟测试。 ## 仓库说明 本数据集适配 `OneScience/evo2/`。供模型使用时，推荐放到模型包根目录下的 `data/evo2_dataset/data_mini/`。 ## 文件说明 | 数据 | 格式 | 说明 | |---|---|---| | 原始序列 | FASTA / gzip FASTA | chr20、chr21、chr22 和合并 FASTA | | 预处理训练 split | `.bin` + `.idx` | `chr20_21_22_uint8_distinct_byte-level_train` | | 预处理验证 split | `.bin` + `.idx` | `chr20_21_22_uint8_distinct_byte-level_val` | | 预处理测试 split | `.bin` + `.idx` | `chr20_21_22_uint8_distinct_byte-level_test` | | 校验清单 | TSV / SHA256 | 文件名、大小和哈希 | 数据集包内默认位置为 `data_mini/genome_data/`。 ## 使用说明 ### 文件与下载 下载数据集： ```bash modelscope download --dataset OneScience/evo2_dataset ``` 验证模型还需另下载模型权重： ```bash modelscope download --model OneScience/evo2/ ``` ### 数据放置与验证 模型默认数据路径： ```text <MODEL_REPO_ROOT>/data/evo2_dataset/data_mini/genome_data/ ``` 可将 `data_mini` 放到模型包： ```bash mkdir -p <MODEL_REPO_ROOT>/data/evo2_dataset cp -a data_mini <MODEL_REPO_ROOT>/data/evo2_dataset/data_mini ``` 验证命令： ```bash python scripts/validate_evo2_dataset.py --package-root . --dataset-root data_mini ``` 如只需要快速检查结构，可加 `--skip-sha256`。 ## OneScience 官方信息 | 平台 | OneScience 主仓库 | Skills 仓库 | |---|---|---| | Gitee | https://gitee.com/onescience-ai/onescience | https://gitee.com/onescience-ai/oneskills | | GitHub | https://github.com/onescience-ai/OneScience | https://github.com/onescience-ai/oneskills | ## 限制与许可证 本数据集是 chr20/chr21/chr22 mini 数据，不是完整 OpenGenome2，不应用于声称复现 Evo2 全量预训练。数据许可请遵循来源基因组数据条款；上传、下载和再分发时应确认符合相应数据许可。