yulan-team/YuLan-Mini-Datasets-Phasae-27

YuLan-Mini Phase 27是一个支持中文和英文的语言数据集，包含问答和文本生成两种类型的任务。数据集的每一行被压缩到28K个token，适用于大规模语言模型的训练。数据集的大小范围在10B到100B之间，标签包括代码和数学。

The YuLan-Mini Phase 27 is a language dataset supporting both Chinese and English, encompassing tasks of question-answering and text generation. Each line in the dataset is compressed to 28K tokens, suitable for training large-scale language models. The dataset size ranges from 10B to 100B tokens, with tags including code and math.

搜集汇总

数据集介绍

构建方式

YuLan-Mini-Datasets-Phasae-27 是面向大语言模型 YuLan-Mini 第27阶段训练而构建的语料库，其构建方式遵循高效数据处理原则。数据集将原始文本资源统一打包为固定长度为28K tokens的序列，确保每个样本具备一致的信息密度与结构完整性。在此基础上，数据集以分片形式存储于多个子目录中，每个子目录对应一个独立的数据子集，便于分布式加载与并行处理。最终通过拼接与随机打乱操作，整合为统一且具备随机顺序的训练集，以提升模型训练的稳定性和泛化能力。

使用方法

数据集的使用方法简洁高效，用户可通过HuggingFace的load_dataset接口依次加载各子目录中的数据，并利用concatenate_datasets函数将所有子集拼接为完整数据集。随后调用shuffle方法设置随机种子进行打乱，确保样本顺序随机化。用户仅需指定数据集本地路径与并行处理进程数，即可快速构建适用于YuLan-Mini模型训练的标准数据流，无需额外预处理步骤，显著降低数据准备门槛。

背景与挑战

背景概述

YuLan-Mini-Datasets-Phase-27是由中国人民大学AI Box团队于2024年发布的大规模预训练数据集，旨在支撑YuLan-Mini语言模型的高效训练。该数据集包含超过100亿个token，覆盖中英文问答、文本生成、代码与数学等多领域内容，每行数据被压缩至28K tokens，以优化训练效率。其核心研究问题在于探索数据高效的语言模型预训练方法，通过精心设计的数据配比与打包策略，在减少计算资源消耗的同时保持模型性能。该数据集及其配套模型的技术报告发表于arXiv，为开源社区提供了数据驱动的模型优化范例，对低资源场景下的语言模型研究具有重要参考价值。

当前挑战

当前数据集面临的核心挑战包括：1）领域问题层面，如何在高压缩率下平衡数据多样性与语义完整性，避免因过度打包导致长文本依赖关系断裂，影响模型对复杂推理任务的理解；2）构建过程中，需处理多语言与多模态数据的分布偏差，确保中英文及代码数学数据的比例科学合理，防止模型产生语言或领域偏好；3）安全与伦理挑战，尽管采用MIT开源协议，但语言模型的概率生成特性可能引入偏见或有害内容，需建立持续的数据过滤与反馈机制以降低风险，同时应对数据版权与合规性审查的复杂性。

常用场景

经典使用场景

YuLan-Mini-Datasets-Phasae-27 作为 YuLan-Mini 语言模型训练流程中第27阶段的核心数据集，其经典使用场景在于为大规模语言模型的持续预训练提供高质量、结构化的中文与英文混合语料。该数据集将每条样本精心打包至28K token长度，特别适用于需要长上下文建模能力的自回归文本生成任务，以及涵盖代码与数学领域知识的问答场景，为模型在复杂推理与多语言理解上的能力跃迁奠定了数据基础。

解决学术问题

该数据集精准回应了当前大模型研究中数据效率与长序列处理的学术挑战。通过将海量文本高效打包为统一长度，它解决了传统训练数据中序列长度不一导致的计算资源浪费与模型记忆碎片化问题。同时，其融合中英文、代码与数学内容的设计，为探究跨语言迁移学习、符号推理能力增强以及数据配比对模型性能的影响提供了标准化实验平台，推动了数据驱动型语言模型的可复现研究。

实际应用

在实际应用中，基于该数据集训练的 YuLan-Mini 模型可部署于智能编程助手、多语言自动问答系统以及教育领域的数学解题引擎。例如，开发者可利用其代码理解能力生成高效算法片段，教育平台可借助其数学推理模块解析复杂方程，而企业级客服系统则能通过其长文本处理优势精准解答跨语言技术文档中的问题，显著提升人机交互的准确性与效率。

数据集最近研究

最新研究方向

YuLan-Mini-Datasets-Phasae-27作为中国人民大学AI Box团队推出的高效语言模型训练数据集，紧跟当前大语言模型领域对数据效率与资源优化的前沿探索。该数据集聚焦于问答与文本生成任务，融合中英双语及代码、数学等多模态内容，每个样本经过28K tokens的紧凑打包处理，旨在提升模型在有限计算资源下的学习效能。其发布呼应了业界对开源、可复现训练管道的迫切需求，特别是在降低预训练门槛、推动小型化高效模型发展的热点趋势中具有显著意义。通过公开优化器状态与中间数据，该数据集为研究数据配比、序列压缩策略及跨任务迁移学习提供了重要基准，有望促进更绿色、更普惠的大模型研发范式。