caskcsg/LongMagpie_64k_dataset

LongMagpie数据集是一个自动生成的长上下文指令数据集，用于训练长上下文大型语言模型。该数据集由LongMagpie框架自动生成，无需人工标注。数据集包含从fineweb-edu数据集中提取的上下文、LongMagpie生成的查询和答案。数据集分为单文档和多个文档版本，并提供了用于训练长文本和平衡长文本和短文本性能的版本。

The LongMagpie dataset is an automatically generated long-context instruction dataset for training long-context large language models. The dataset is synthesized by the LongMagpie framework without human annotation. It includes contexts extracted from the fineweb-edu dataset, queries generated by LongMagpie, and answers. The dataset is available in single-document and multi-document versions, and provides versions for training long-text and balancing long-text and short-text performance.

搜集汇总

数据集介绍

构建方式

在长上下文大语言模型的训练中，高质量指令数据的获取长期受限于高昂的人工标注成本与模板化合成方法在规模、多样性与质量上的不足。LongMagpie数据集的构建基于一种创新的自合成框架，其核心洞察在于：对齐后的长上下文大语言模型，在接收到文档后跟随特定标记以模拟用户交互时，能够自回归地生成上下文相关的查询。通过收集这些文档-查询对，并利用模型自身生成回答，LongMagpie实现了无需人工干预的高质量指令数据生产。该数据集以fineweb-edu短文本数据为原始材料，首先通过自合成流程生成单文档长上下文数据，随后采用MultiDoc方法将多个单文档数据拼接以扩展上下文长度，并转换为SFT对话格式，最终通过拼接脚本将数据统一处理至64k的固定上下文长度。

特点

LongMagpie数据集最显著的特征在于其构建方式所带来的卓越性能与广泛适用性。在HELMET、RULER及Longbench v2等权威长上下文基准测试中，基于该数据集训练的模型取得了领先成果，同时在短上下文任务上亦保持了具有竞争力的表现。为平衡长短期性能，研究团队创新性地提出了p-mix策略，通过将LongMagpie数据与UltraChat短文本数据按照概率混合，使得每个训练序列以短上下文指令起始，后续动态混合长短片段，从而实现了模型在长文本与短文本任务上的性能均衡。这一设计使得LongMagpie数据集不仅具备开源、多样且可扩展的特性，更在保持短文本能力的基础上显著提升了长上下文处理能力。

使用方法

LongMagpie_64k_dataset的使用流程清晰且可复现。用户首先需配置环境并安装所需依赖。随后，可参照infer_demo.py脚本，从fineweb-edu数据集中提取上下文，利用LongMagpie生成查询与回答，完成单文档问答数据的合成。在此基础上，通过multidoc_format.py脚本将单文档数据扩展为多文档SFT对话格式。最终，利用build_sft_data.py脚本将多文档数据拼接至64k固定长度，形成可直接用于训练的最终数据集。对于追求长短期性能平衡的用户，可使用p-mix策略脚本build_sft_data_p_mix.py，将LongMagpie数据与UltraChat混合拼接。训练时，采用Document Mask技术，通过执行train_sft.sh脚本即可启动模型训练，并在HELMET、RULER等基准上完成评估。

背景与挑战

背景概述

在大型语言模型（LLMs）领域，长上下文指令数据的质量对于对齐模型能力至关重要。尽管诸如Qwen和Llama等模型已公开发布，但其长上下文指令数据却长期处于专有状态，这构成了研究瓶颈。为解决这一问题，中国科学院信息工程研究所的团队于近期提出了LongMagpie框架，该数据集正是其核心产物。研究团队通过自合成方法，利用已对齐的长上下文LLM在文档后自动生成上下文相关查询，从而无需人工标注即可大规模产出高质量指令。LongMagpie数据集的出现，不仅为长上下文任务提供了开放、多样且可扩展的数据源，还通过实验验证了其在HELMET、RULER等基准测试中的领先性能，推动了对齐长上下文LLMs的研究进程。

当前挑战

该数据集面临的挑战首先体现在领域问题上：长上下文指令数据的构建长期受困于人工标注成本高昂和模板合成方法多样性不足的困境，难以满足模型对大规模、高质量数据的需求。其次，在构建过程中，团队需解决如何从短文本数据（如fineweb-edu）中有效扩展至64k上下文长度，同时保持指令的多样性和准确性。此外，如何在增强长上下文性能的同时兼顾短文本任务的表现，避免性能失衡，也是一大技术难题。为此，研究团队提出了p-mix策略，通过混合长、短上下文数据来平衡模型能力，但如何精确控制混合比例以优化整体效果，仍需进一步探索。

常用场景

经典使用场景

LongMagpie_64k_dataset作为长上下文指令微调数据集，其最经典的使用场景在于训练和优化长上下文大型语言模型（LLMs）。该数据集通过自合成方法生成，包含大量经过精心处理的64k长度文本片段，特别适用于需要处理超长文档理解、多文档问答、长程依赖推理等任务。研究者利用该数据集对基础模型进行监督微调，能够显著提升模型在长上下文基准测试如HELMET、RULER和LongBench v2上的表现，同时借助p-mix策略保持短文本任务的竞争力，成为长上下文LLM对齐训练的标准数据资源。

衍生相关工作

围绕LongMagpie_64k_dataset衍生了一系列重要的研究工作。首先，该数据集作为核心训练资源，催生了Llama-3-8B-LongMagpie-512K-Instruct等高性能长上下文模型，这些模型在多个基准上刷新了记录。其次，p-mix策略的提出平衡了长短期任务性能，启发了后续关于多任务混合训练的研究。此外，数据集构建过程中的MultiDoc方法和Document Mask技术被广泛应用于其他长上下文数据合成工作，如ProLong等。该数据集还推动了长上下文评估体系的发展，HELMET、RULER等基准测试的完善均受益于其提供的标准化训练数据，形成了从数据合成到模型训练再到性能评估的完整研究链条。

数据集最近研究

最新研究方向

长上下文指令数据的自动合成与对齐是当前大语言模型研究的前沿热点。针对高质量长上下文指令数据稀缺、人工标注成本高昂且模板化方法扩展性受限的困境，LongMagpie数据集提出了一种创新的自合成框架，通过利用已对齐的长上下文模型在文档后自回归生成上下文相关查询，实现了大规模、多样化且高质量指令数据的自动构建。该数据集基于Fineweb-Edu语料，采用多文档拼接与p-mix混合策略，在保持短文本任务性能的同时，显著提升了模型在HELMET、RULER及LongBench v2等基准上的长上下文处理能力。这一工作不仅为长上下文语言模型的指令微调提供了开放、可扩展的数据解决方案，也推动了长文本理解与生成任务在真实场景中的应用与性能突破。