regmix-data-sample

RegMix Data Sample数据集是从Pile-Uncopyrighted数据集中精心挑选出来的，专门为RegMix论文设计，旨在通过将数据混合识别作为回归任务来促进语言模型预训练中的高性能数据混合自动识别。该数据集大小约为20GB，包含5B个token，遵循领域示例的自然token分布，并将不同领域的示例分别存储在单独的文件中。数据集分为两个主要目录：`train`和`valid`，每个目录包含领域特定的JSONL文件。推荐使用TinyLlama框架下载整个数据集快照，而不是传统的`load_dataset`函数。数据预处理代码将这些领域文件转换为带有领域前缀的二进制格式，允许使用用户定义的数据混合进行随机抽样。

原始信息汇总

RegMix Data Sample

数据集描述

RegMix Data Sample 是从 Pile-Uncopyrighted 数据集中精心挑选的数据集，专门为 RegMix 论文设计。该数据集旨在通过将语言模型预训练中的高性能数据混合识别问题转化为回归任务，从而促进自动识别。

关键特性：

• 大小：约 20GB 磁盘空间，50 亿个标记
• 分布：遵循领域示例的自然标记分布
• 组织：不同领域的示例被分离到单独的文件中

数据集结构

数据集分为两个主要目录：train 和 valid，每个目录包含特定领域的 JSONL 文件。文件命名约定如下：

[domain]-[identifier]-[number].jsonl

例如：arxiv-10-74305611.jsonl

包含的领域：

arxiv, gutenberg_pg_19, pubmed_central, dm_mathematics, hackernews, stackexchange, enron_emails, nih_exporter, ubuntu_irc, europarl, philpapers, uspto_backgrounds, freelaw, pile_cc, wikipedia_en, github, pubmed_abstracts

使用方法

建议下载整个数据集快照，而不是使用传统的 load_dataset 函数，因为 RegMix 代码与 TinyLlama 框架 集成。

下载数据集的代码如下：

python from huggingface_hub import snapshot_download

LOCAL_DIR = "regmix-data-sample" snapshot_download(repo_id="sail/regmix-data-sample", repo_type=dataset, local_dir=LOCAL_DIR, local_dir_use_symlinks=False)

这将下载整个快照，包含 34 个 JSON 行文件（17 个用于训练，17 个用于验证），到指定的本地目录。

数据预处理

我们的 代码 将这些领域文件预处理为带有领域前缀的二进制格式。它允许使用用户定义的数据混合（即领域权重）进行随机抽样。

致谢

我们感谢 Pile-Uncopyrighted 数据集 的创建者，他们努力从原始 Pile 数据集中移除受版权保护的内容，使这项工作成为可能。

引用

如果您在研究中使用此数据集，请引用 RegMix 论文：

@article{liu2024regmix, title={RegMix: Data Mixture as Regression for Language Model Pre-training}, author={Liu, Qian and Zheng, Xiaosen and Muennighoff, Niklas and Zeng, Guangtao and Dou, Longxu and Pang, Tianyu and Jiang, Jing and Lin, Min}, journal={arXiv preprint arXiv:2407.01492}, year={2024} }

有关 RegMix 方法及其应用的更多信息，请参阅 原始论文。

搜集汇总

数据集介绍

构建方式

RegMix Data Sample数据集源自Pile-Uncopyrighted数据集，专为RegMix论文设计，旨在通过回归任务的形式，自动识别语言模型预训练中的高效数据混合策略。该数据集从Pile-Uncopyrighted中精选数据，并按领域划分，最终生成了包含多个领域的数据样本。数据集的构建过程严格遵循自然语言处理领域的标准流程，确保了数据的多样性和代表性。

特点

RegMix Data Sample数据集具有约20GB的存储空间，包含50亿个标记，覆盖了多个领域的自然语言数据。数据集的分布遵循各领域样本的自然标记分布，确保了数据的广泛性和均衡性。数据集按领域划分为独立的JSONL文件，便于用户按需使用。每个文件均以领域-标识符-编号的形式命名，结构清晰，便于管理和分析。

使用方法

使用RegMix Data Sample数据集时，建议通过Hugging Face Hub的`snapshot_download`函数下载整个数据集快照，而非传统的`load_dataset`函数。下载后，数据集将包含34个JSONL文件，分别用于训练和验证。用户可通过RegMix代码库对数据进行预处理，将其转换为二进制格式，并支持根据用户定义的数据混合比例进行随机采样。该数据集与TinyLlama框架集成，适用于语言模型预训练的研究和实验。

背景与挑战

背景概述

RegMix Data Sample数据集由Pile-Uncopyrighted数据集衍生而来，专为RegMix论文设计，旨在通过回归任务的形式，自动识别用于语言模型预训练的高性能数据混合。该数据集由SAIL团队于2024年发布，核心研究问题聚焦于如何通过数据混合优化语言模型的预训练效果。其数据来源于多个领域，包括学术论文、开源代码、社交媒体等，涵盖了丰富的语言表达形式。该数据集不仅为语言模型预训练提供了多样化的数据支持，还为数据混合策略的研究提供了新的视角，推动了自然语言处理领域的发展。

当前挑战

RegMix Data Sample数据集在构建和应用过程中面临多重挑战。首先，数据混合的优化问题本身具有高度复杂性，如何通过回归任务有效识别最佳数据组合是一个核心难题。其次，数据集的构建依赖于Pile-Uncopyrighted数据集，尽管已去除版权内容，但数据来源的多样性和质量仍可能影响模型的泛化能力。此外，数据预处理和随机采样的实现需要高效的计算资源支持，这对研究者的硬件条件提出了较高要求。最后，如何在不同领域数据之间实现平衡，避免特定领域数据对模型训练产生过强影响，也是该数据集应用中的一大挑战。

常用场景

经典使用场景

RegMix Data Sample数据集主要用于语言模型预训练中的数据混合优化研究。通过将数据混合问题转化为回归任务，该数据集为研究者提供了一个标准化的实验平台，用于自动识别和优化高性能的数据混合策略。这一过程不仅提升了语言模型的训练效率，还为不同领域的数据混合提供了科学依据。

解决学术问题

该数据集解决了语言模型预训练中数据混合策略的优化问题。传统方法依赖于人工经验或试错法，而RegMix Data Sample通过回归任务的形式，提供了一种自动化的数据混合优化方案。这一创新不仅显著提升了模型的性能，还为数据混合的科学研究提供了新的方法论支持。

衍生相关工作

基于RegMix Data Sample的研究成果，衍生了一系列经典工作。例如，TinyLlama框架的开发者利用该数据集优化了其语言模型的预训练流程，显著提升了模型性能。此外，该数据集还为其他研究团队提供了数据混合优化的基准，推动了语言模型预训练领域的进一步发展。