OmniGene-4-bio
收藏资源简介：
OmniGene-4-bio数据集是论文《Biological Continued Pretraining Reshapes the Capability Profile of a Foundation Model Without Catastrophic Forgetting》的再分析成果，旨在评估基础模型在生物领域持续预训练（BioCPT）后的能力变化。数据集包含对Gemma-4-26B-A4B（一种混合专家模型）在四个能力轴上的详细评估输出：从指令调优的基础模型到生物领域持续预训练（BioCPT），再到监督微调（SFT）。数据内容涵盖通用知识问答（MMLU、ARC、HellaSwag、TruthfulQA）、代码生成（HumanEval、MBPP）以及生物信息学任务（BixBench、protein-homology），并包含GSM8K数学问题的思维链行为诊断记录。数据集以JSON格式提供每个检查点在每个任务上的详细输出，以及人类可读的总结表格（Markdown格式）。标题数据显示，BioCPT在MMLU、MBPP和BixBench-TF任务上显著提升性能，同时缩短思维链长度，表明模型在获得生物领域能力的同时未发生灾难性遗忘。该数据集适用于研究持续预训练、模型能力评估、生物信息学NLP任务以及混合专家模型的行为分析。
The OmniGene-4-bio dataset is a reanalysis outcome from the paper Biological Continued Pretraining Reshapes the Capability Profile of a Foundation Model Without Catastrophic Forgetting, designed to evaluate the capability changes of foundation models after biological continued pretraining (BioCPT). It includes detailed evaluation outputs for the Gemma-4-26B-A4B (a mixture-of-experts model) across four capability axes: from instruction-tuned base models to BioCPT, and then to supervised fine-tuning (SFT). The data covers general knowledge QA (MMLU, ARC, HellaSwag, TruthfulQA), code generation (HumanEval, MBPP), bioinformatics tasks (BixBench, protein-homology), and includes chain-of-thought behavior diagnostics for GSM8K math problems. The dataset provides detailed outputs for each checkpoint on each task in JSON format, along with human-readable summary tables (Markdown format). Title data shows that BioCPT significantly improves performance on MMLU, MBPP, and BixBench-TF tasks while reducing chain-of-thought length, indicating no catastrophic forgetting as the model gains biological domain capabilities. This dataset is suitable for research on continued pretraining, model capability evaluation, bioinformatics NLP tasks, and behavior analysis of mixture-of-experts models.
数据集概述：OmniGene-4-bio
该数据集是论文“Biological Continued Pretraining Reshapes the Capability Profile of a Foundation Model Without Catastrophic Forgetting”的重新分析产物，专注于评估一个Gemma-4-26B-A4B（MoE）模型在生物持续预训练（BioCPT）和后续监督微调（SFT）过程中的能力变化。
核心内容
数据集包含模型在不同检查点（checkpoint）下的逐示例评估输出和汇总表格，覆盖四个能力轴：指令微调基线（instruction-tuned base）、生物持续预训练（BioCPT）、监督微调（SFT）。具体文件如下：
- 逐任务输出：
results/*.json文件，涵盖通用任务（MMLU、ARC、HellaSwag、TruthfulQA）、编码任务（HumanEval、MBPP）的评估结果。 - 生物任务输出：
bioLL_<tag>__<task>.json文件，针对BixBench和蛋白质同源性（protein-homology）任务的鲁棒对数似然评估。 - 思维链诊断：
cot_<tag>.json文件，记录GSM8K任务的生成过程（链长、回溯、模糊表述、最终答案及正确性）。 - 可读汇总表：
PHASE1_*.md文件（每个轴独立）、PHASE1_SUMMARY.md（统一发现）。 - 论文材料：
paper/目录包含LaTeX源码及PDF。
标签（Tags）说明
数据集中包含四种检查点标签：
base_it_orig：原始指令微调基线base_it-bio：生物领域指令微调基线biocpt：生物持续预训练模型biocpt_sft：生物持续预训练后经监督微调的模型
关键性能结果（Headline）
以下为各检查点在不同任务上的核心指标：
| 能力轴 | 基线（指令微调） | BioCPT | BioCPT+SFT |
|---|---|---|---|
| MMLU（5-shot） | 0.646 | 0.776 | 0.635 |
| MBPP pass@1（3-shot） | 0.332 | 0.630 | 0.348 |
| BixBench-TF MCC | 0.232 | 0.924 | 0.361 |
| 思维链平均长度 | 108.8 | 64.4 | 125.8 |
数据集来源与许可
- 许可协议：Apache-2.0
- 任务类别：问答（question-answering）
- 相关代码：GitHub仓库
- BioCPT检查点：Hugging Face模型
注意事项
数据集仅包含模型输出和评分，不重新分发任何原始基准数据（所有源基准均为公开资源）。
