dnagpt/omnigene4-sft-data

OmniGene-4 SFT语料库是一个用于OmniGene-4和OmniGene-4-MM家族的监督微调数据集，旨在支持生物信息学领域的文本生成和问答任务。该数据集包含多个文件，总行数约在100K到1M之间，覆盖八个任务家族：蛋白质同源性（BioPAWS）、DNA、结构（3Di/DSSP）、细胞生物学、分子、突变、结构预测和一般生物问答。数据以JSONL格式存储，每行包含instruction、input、output和category等字段，部分行还包括task_name和subtask。数据集用于训练和评估生物语言模型，如Bio-SFT v2到v5版本，以及OmniGene-4-MM的阶段2/3 LoRA训练。文件包括训练集、评估集、种子数据和子集，如细胞生物学和分子SFT子集。数据集基于CC-BY-4.0许可证，支持英文和中文。The OmniGene-4 SFT Corpus is a supervised fine-tuning dataset tailored for the OmniGene-4 and OmniGene-4-MM model families, intended to support text generation and question answering tasks within the bioinformatics domain. Comprising multiple files with a total line count ranging from approximately 100K to 1M, the dataset covers eight task families: Protein Homology (BioPAWS), DNA, Structure (3Di/DSSP), Cell Biology, Molecular Biology, Mutation, Structure Prediction, and General Bio-QA. All data is stored in JSONL format, where each line contains fields including instruction, input, output, and category; a subset of lines additionally includes task_name and subtask. This dataset is utilized for training and evaluating bio-language models such as Bio-SFT v2 through v5, as well as Phase 2/3 LoRA training for OmniGene-4-MM. The included files cover training splits, validation splits, seed data, and subsets like the Cell Biology and Molecular SFT subsets. The dataset is released under the CC-BY-4.0 license and supports both English and Chinese languages.

搜集汇总

数据集介绍

构建方式

OmniGene-4 SFT数据集是为监督微调OmniGene-4与OmniGene-4-MM系列模型所精心构建的高质量语料库。其构建过程基于多源生物学知识融合策略，涵盖蛋白质同源性（BioPAWS）、DNA序列、三维结构（3Di/DSSP）、细胞生物学、分子科学、突变分析、结构预测及通用生物问答等八大任务族。数据集以JSONL格式组织，每条样本包含指令、输入、输出及类别字段，并可选配任务名与子任务标签以实现细粒度追踪。核心文件`omnigene_sft_v1_train_with_remote.jsonl`整合了约179K条基础语料与20K条蛋白质对远程同源性数据，形成约199K条的高鲁棒性训练集，且所有数据均基于Alpaca模板进行标准化清洗。

特点

该数据集具备显著的领域专业性与多维覆盖特性，不仅囊括从分子层面到细胞生物学级别的跨尺度生物信息，还融合了从序列比对到结构预测的多样化任务范式。其最大特色在于采用远程同源性数据扩展策略，通过引入蛋白质对远程关系样本，显著增强了模型对远缘进化关联的识别能力。数据集内嵌了评估子集（约1.5K条）与主控语料库（约285K条），支持严格的训练-评估分离，同时提供类别统计报告，便于用户深入分析数据分布。此外，数据集遵循CC-BY-4.0许可，以英文和中文双语呈现，兼顾了通用性与地域适用性。

使用方法

使用者可直接下载JSONL格式文件，通过Python的json.load()逐行加载，依据指令-输入-输出三元组进行监督微调。推荐优先采用`omnigene_sft_v1_train_with_remote.jsonl`作为主训练集，并配合`bio_sft_v2_train.jsonl`进行多版本对比实验。对于需要更广泛覆盖的场景，可选合并`master`目录下的细胞生物学与分子科学子集。评估时，应使用`eval/omnigene_sft_v1_eval.jsonl`作为标准测试集，并通过官方GitHub仓库提供的训练脚本实现完整的训练与评估流水线。数据集中的`category`与`task_name`字段可用于定向微调特定生物子领域，而统计报告`data_mix_report.json`则辅助用户制定均衡的采样策略。

背景与挑战

背景概述

OmniGene-4 SFT数据集的创建标志着生物信息学领域向统一多模态语言模型迈出了关键一步。该数据集由Liang Wang等研究人员于2026年发布，旨在为OmniGene-4及OmniGene-4-MM系列模型提供监督微调训练数据，核心研究问题聚焦于构建一个能够同时理解蛋白质、DNA、细胞生物学及分子结构等多层次生物信息的统一基础模型。数据集整合了蛋白质同源性、DNA序列分析、三维结构预测、细胞生物学问答及分子属性预测等八个任务家族，涵盖约199K条高质量训练样本，成为连接生物序列、结构与功能知识的桥梁。自发布以来，该数据集在生物大语言模型领域产生了显著影响，为跨模态生物知识融合与可解释性研究提供了标准化训练基准。

当前挑战

该数据集所解决的核心领域挑战在于如何突破传统生物信息学任务孤立训练的局限，实现蛋白质、DNA、分子及细胞生物学等异构生物数据在统一语义空间中的对齐与交互。构建过程中面临的主要挑战包括：其一，来自不同生物子领域的标注数据格式与粒度存在巨大差异，需要设计兼容性极强的统一数据模式；其二，蛋白质同源性远程关系的标注数据量稀缺，仅20K条，需通过精巧的蒸馏策略从初始种子数据（约6K条）逐步扩增数据量级；其三，高质量指令数据的构建涉及复杂的多专家验证流程，以确保跨任务数据集的科学准确性与迁移学习效果。

常用场景

经典使用场景

在生物信息学与自然语言处理的交叉领域中，OmniGene-4 SFT数据集作为监督微调的核心语料，被广泛用于训练面向多任务生物语言的大型语言模型。该数据集整合了蛋白质同源性、DNA序列、结构生物学（如3Di/DSSP）、细胞生物学、分子科学、突变分析、结构预测以及通用生物问答等八大任务家族，为模型提供了多样化且高质量的指令-输出对。研究者通常利用该数据集对基础模型进行指令微调，使其能够理解并执行从序列比对到功能注释的跨模态生物任务，从而构建出具备全面生物知识理解与生成能力的统一模型，例如OmniGene-4系列模型就依托此数据实现了在异构生物学任务上的卓越表现。

解决学术问题

OmniGene-4 SFT数据集旨在解决生物语言模型研究中的一个核心瓶颈：缺乏大规模、多领域、可泛化的监督微调语料。传统数据集常局限于单一任务（如仅蛋白质或仅DNA），导致模型泛化能力薄弱，难以在同一框架下同时处理同源性分析、结构预测和分子交互等异质性任务。该数据集通过涵盖八大任务家族并引入远程同源性数据和多种生物学特征，使得研究者能够探索跨任务的知识迁移与协同学习。其发布推动了生物语言模型从“单任务专用”向“多任务统一”的范式转变，显著提升了模型在低资源生物子任务上的零样本适应能力，为探索生物序列与功能之间的深层次语义映射奠定了数据基础。

衍生相关工作

OmniGene-4 SFT数据集的推出直接催生了若干具有影响力的后续研究。最直接的衍生产物是OmniGene-4及其多模态版本OmniGene-4-MM，后者通过引入远程模态对齐策略，将蛋白质语言模型与结构表示学习进行融合。此外，该数据集的部分子集（如细胞生物学和分子SFT子集）已被独立抽取用于训练专门的生物子领域模型，用于细胞状态预测和药物-靶标亲和力估计。研究者还基于该数据的训练流水线开发了生物领域的蒸馏与课程学习策略，例如使用其种子集进行初步蒸馏，再迭代扩充至全量语料，这一范式在后续多个生物大模型训练中得到了采纳与改进。该数据集及其配套的开源训练脚本已成为生物语言模型社区构建高性能微调系统的重要参考基准。