common_long_32k

Common-Long-32K是一个正在进行中的数据集，旨在为Comma模型的长上下文训练提供数据支持。该数据集源自Common Pile v0.1的已过滤数据，并进一步通过序列长度进行筛选，保留字符长度在16,000到145,000之间的文本序列。设计基于每4到6个字符对应一个token的假设，目标是构建一个包含约4,000到32,000个token的序列集合（实际范围可能低至2,500到24,000 token）。该数据集计划与LongLoRA技术结合使用，用于训练或微调能够处理长上下文的语言模型。未来还计划推出一个64K版本。Common-Long-32K is an ongoing dataset designed to provide data support for long-context training of the Comma model. It is derived from filtered data of Common Pile v0.1 and further screened by sequence length, retaining text sequences with character lengths between 16,000 and 145,000. The design is based on the assumption that every 4 to 6 characters correspond to one token, with the goal of constructing a collection of sequences containing approximately 4,000 to 32,000 tokens (actual range may be as low as 2,500 to 24,000 tokens). The dataset is intended to be used in conjunction with LongLoRA technology for training or fine-tuning language models capable of handling long contexts. A 64K version is also planned for the future.

原始信息汇总

数据集名称

Common-Long-32K

数据集描述

• 状态：工作正在进行中。
• 来源：基于 Common Pile v0.1 已过滤数据的大小过滤版本，用于 Comma 模型的长上下文训练。
• 序列长度：保留了长度为 16k 到 145k 字符的序列（假设每 token 对应 4-6 个字符）。
• 目标上下文长度：旨在覆盖 4k 到 32k token 范围，实际范围可能低至 2.5k 到 24k token。
• 应用场景：将用于 LongLoRA 训练。
• 未来计划：后续会制作 64K 版本。
• 原始数据集合：参考 Common Pile v0.1 过滤数据集合：https://huggingface.co/collections/common-pile/common-pile-v01-filtered-data

其他信息

• 整理者：未提供
• 资金方：未提供
• 共享者：未提供
• 语言：未提供
• 许可证：未提供

搜集汇总

数据集介绍

构建方式

Common-Long-32K数据集是基于Common Pile v0.1已过滤数据的规模过滤版本，专为长上下文训练场景设计。构建过程中，研究者保留了字符长度在16k至145k之间的序列，依据每词元对应4至6个字符的假设，将目标序列长度控制在4k至32k词元范围内，实际最低可降至2.5k至24k词元。这一精细化的长度筛选策略，旨在为Comma模型的长上下文训练提供高质量、符合目标长度分布的训练语料。

特点

该数据集的核心特点在于其面向长上下文训练的专项优化，通过严格的字符长度过滤，确保序列长度与模型的长距离依赖学习需求高度匹配。作为Common Pile v0.1过滤数据的子集，它继承了原始数据集的多样性与丰富性，同时针对性地剔除短序列，使得数据集中每个样本均包含足够的上下文信息，适合用于LongLoRA等长上下文微调技术。

使用方法

Common-Long-32K数据集的使用方法较为直接，研究者可将其作为长上下文语言模型的训练或微调数据源。当前版本主要面向32k词元长度目标，未来计划推出64k版本以支持更长序列的训练。使用时可结合LongLoRA框架，将数据集直接加载至支持长序列的Transformer模型中进行训练，无需额外预处理。建议在应用中验证实际词元化效率，确保序列长度符合预期范围。

背景与挑战

背景概述

Common-Long-32K数据集源自Common Pile v0.1，由Comma模型团队精心构建并筛选，旨在满足长上下文场景下语言模型训练的需求。该数据集于近期发布，主要聚焦于解决大语言模型在处理超过16K tokens的序列时所面临的数据稀疏与分布不均问题。通过从海量文本中提取长度介于16K至145K字符的片段，并假定每token对应4至6个字符，数据集最终目标覆盖4K至32K tokens的序列范围。这一设计不仅弥补了现有数据集中长序列样本显著不足的缺憾，更为推进LongLoRA等高效长上下文微调方法提供了坚实的数据基础，对长文本理解与生成领域的研究具有重要的推动作用。

当前挑战

该数据集所应对的核心领域挑战在于，现有语言模型预训练数据多由短文本片段组成，难以有效支撑模型在长上下文任务（如文档摘要、长篇问答、代码库理解等）上的泛化能力，长序列的语义连贯性与跨段落依赖建模长期受限于数据量的匮乏。在构建过程中，团队面临着若干技术难点：一是如何从Common Pile v0.1海量过滤数据中精准筛选出字符长度符合16K至145K区间的样本，确保过滤阈值既能覆盖目标token范围又避免序列过短或过长带来的效率与质量损失；二是需权衡字符与token之间的转换率（4-6 char/tok），以适配不同分词器的实际表现；三是数据规模庞大，计算资源与存储开销成为不可忽视的限制。此外，由于数据集仍处于迭代阶段（Work in Progress），后续64K版本的规划亦预示着在更长序列质量控制与数据均衡方面将面临持续挑战。

常用场景

经典使用场景

Common-Long-32K数据集专为长上下文语言模型训练而设计，其核心在于筛选出字符长度介于16K至145K之间的文本序列，对应约4K至32K个token。这一精心构造的数据规模，使其成为长序列建模研究的理想基石。经典使用场景聚焦于提升模型对长距离依赖关系的理解与生成能力，广泛应用于预训练阶段的语料扩充、微调阶段的领域适应，以及长文档摘要、代码库级理解、学术论文分析等任务中，为探索模型在超长文本上的表现提供了标准化评估平台。

衍生相关工作

基于Common-Long-32K，衍生出一系列富有影响力的经典工作。该数据集与LongLoRA技术紧密耦合，支持在资源受限条件下高效微调长上下文模型，开辟了参数高效迁移学习的新路径。研究者利用该数据训练出Comma系列模型，深入探索了位置编码外推与分段式注意力机制。此外，它催生了多种长文本评估基准与数据增强策略，例如通过长度筛选、质量过滤结合的方式构建适用于64K乃至更长序列的训练语料，为后续工作如Ring Attention、FlashAttention的长序列优化提供了直接的经验基石和对比参照。

数据集最近研究

最新研究方向

Common-Long-32K数据集致力于解决长文本语境下语言模型训练的数据稀缺问题，通过从Common Pile v0.1中精选长度在16k至145k字符之间的序列，构建适用于32K token级别长上下文训练的语料库。这一工作紧密契合当前LLM领域对超长序列建模能力的需求，尤其服务于Comma模型的长上下文预训练与通过LongLoRA进行的高效微调。该数据集的推出不仅为突破Transformer架构的上下文窗口限制提供了关键资源，也有望推动长文档理解、代码生成与多轮对话等前沿应用的发展。