iankur/SlimPajama-1B

该数据集是[DKYoon/SlimPajama-6B](https://huggingface.co/datasets/DKYoon/SlimPajama-6B)中训练分割的采样版本，采样后的训练分割约为原始训练分割的1/6，而验证和测试分割保持不变。数据集包含文本、元数据和索引级别三个特征，分为训练、验证和测试三个部分，每个部分都有相应的字节数和示例数。

原始信息汇总

数据集概述

数据集特征

• text: 字符串类型
• meta: 结构化数据，包含子特征
  • redpajama_set_name: 字符串类型
• index_level_0: 整数类型（int64）

数据集分割

• 训练集（train）:
  • 示例数量: 933130
  • 数据大小: 4066080183.08 字节
• 验证集（validation）:
  • 示例数量: 9347
  • 数据大小: 39109042 字节
• 测试集（test）:
  • 示例数量: 9346
  • 数据大小: 40114950 字节

数据集大小

• 下载大小: 2424961933 字节
• 总数据集大小: 4145304175.08 字节

数据文件配置

• 默认配置（default）:
  • 训练集路径: data/train-*
  • 验证集路径: data/validation-*
  • 测试集路径: data/test-*

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，大规模预训练语料库的构建对于提升模型性能至关重要。iankur/SlimPajama-1B数据集源于著名的SlimPajama-6B数据集，通过对其中训练集部分进行约六分之一比例的子采样而生成，旨在为资源受限的研究场景提供更轻量级的替代方案。该采样过程保留了原始数据分布的核心特征，同时显著缩减了数据规模。验证集和测试集则保持与原始版本一致，确保了评估基准的稳定性和可比性。每个样本均包含文本内容（text）及元数据（meta），其中元数据字段记录了数据来源的RedPajama子集名称，便于追踪数据溯源。

特点

该数据集最显著的特点在于其规模与质量的精妙平衡。总数据量约为1B token，训练集包含933,130个样本，验证集与测试集分别包含9,347和9,346个样本，形成了典型的大规模预训练语料结构。通过从SlimPajama-6B中系统性子采样，数据集在保持领域多样性的同时，大幅降低了存储和计算开销。特征设计简洁高效，仅包含文本字段和来源元数据，避免了冗余信息，便于快速加载和集成。这种精简设计使得该数据集特别适用于快速原型验证、小规模实验以及教学演示等场景。

使用方法

在HuggingFace生态中，该数据集可通过datasets库便捷加载。用户只需调用load_dataset('iankur/SlimPajama-1B')即可获取完整数据集，其默认配置下包含train、validation和test三个标准分割。数据以parquet格式存储，支持流式读取以应对内存限制。使用时，建议直接通过索引访问text字段获取文本内容，meta字段中的redpajama_set_name可用于按数据来源进行过滤或分析。对于下游任务，该数据集可直接用于自监督语言模型预训练，或作为微调任务的背景语料。值得注意的是，由于训练集经过子采样，在需要完整数据分布的实验场景中，建议回退至原始SlimPajama-6B版本。

背景与挑战

背景概述

在自然语言处理领域，大规模高质量预训练语料库的构建是推动语言模型性能提升的关键基石。SlimPajama-1B数据集由iankur团队于2023年基于DKYoon/SlimPajama-6B进行采样生成，旨在为研究人员提供更轻量级、可快速实验的训练数据。该数据集源自RedPajama项目，后者是Together Computer等机构联合发起的开放语料库计划，核心研究问题在于如何从海量网络文本中筛选出干净、多样且具备代表性的训练样本。SlimPajama-1B通过缩减训练集规模至原始版本的约六分之一，同时保留验证集与测试集完整性，为资源受限场景下的模型预训练与基准测试提供了重要支持，尤其促进了小规模语言模型研究的可重复性与效率提升。

当前挑战

该数据集面临的核心挑战首先在于领域问题的复杂性：大规模语言模型预训练需要平衡数据规模与质量，SlimPajama-1B的采样策略可能引入分布偏差，导致模型泛化能力下降或对某些子领域（如代码、学术文本）覆盖不足。其次，构建过程中需解决的关键难题包括：从6B版本降采样时如何保持原始语料的多样性，避免非随机截断破坏长文本语义连贯性；元数据字段（如redpajama_set_name）的标签一致性维护，以支持后续去重与清洗；以及缩减后训练集（约93万样本）是否足以支撑高维参数空间的充分学习，尤其在任务特定微调场景下可能面临过拟合风险。

常用场景

经典使用场景

SlimPajama-1B作为大规模语言模型预训练语料库的精简版本，其核心应用场景在于为自然语言处理领域提供高效、高质量的训练数据源。该数据集从SlimPajama-6B中采样约六分之一的训练数据，保留了原始语料的多样性，同时显著降低了计算资源门槛。研究者常将其用于小规模预训练实验、模型架构快速验证以及低资源场景下的语言模型微调，尤其适合学术机构和个人开发者开展探索性研究。

衍生相关工作

该数据集催生了多项经典工作，包括基于其采样策略改进的分布式训练框架、针对小规模高质量语料的预训练优化方法，以及对比不同规模数据下模型涌现能力的实证研究。研究者利用其构建了系列基准模型，验证了数据质量比规模更重要的假说。后续工作如数据去重算法评估、多语言扩展版本等，均以SlimPajama-1B作为核心参考数据集，形成了从数据采样到模型评估的完整研究链条。

数据集最近研究

最新研究方向

在当前大语言模型预训练数据规模急剧膨胀的背景下，SlimPajama-1B作为SlimPajama-6B的精简采样版本，聚焦于数据效率与模型性能的平衡优化。该数据集通过缩减训练集规模至原版的约六分之一，同时保留完整的验证与测试集，为研究数据冗余对模型泛化能力的影响提供了关键实验基准。前沿方向集中于探索高质量、低冗余语料在千亿参数级别模型训练中的替代效应，尤其关注如何通过数据蒸馏与重要性采样策略，在保持下游任务表现的前提下大幅降低计算成本。这一研究方向与当前业界对可持续AI发展的迫切需求紧密相连，其成果有望推动预训练范式从‘大而全’向‘精而优’转型，为资源受限场景下的模型开发开辟新路径。