orionweller/dolma_18bn_stratified_sample

---
dataset_info:
features:
- name: id
dtype: string
- name: text
dtype: string
- name: added
dtype: string
- name: created
dtype: string
- name: source
dtype: string
- name: original_shard_dir
dtype: string
- name: original_shard_idx
dtype: int64
- name: num_tokens
dtype: int64
splits:
- name: shard_0
num_bytes: 10048491187
num_examples: 3080525
- name: shard_1
num_bytes: 10047334747
num_examples: 2746799
- name: shard_2
num_bytes: 10020442845
num_examples: 2725694
- name: shard_3
num_bytes: 10035011475
num_examples: 2846397
- name: shard_4
num_bytes: 10052333787
num_examples: 2900288
- name: shard_5
num_bytes: 10013214029
num_examples: 3707634
- name: shard_6
num_bytes: 10005928795
num_examples: 3365483
- name: shard_7
num_bytes: 10006714170
num_examples: 3241452
- name: shard_8
num_bytes: 10027646826
num_examples: 3158601
- name: shard_9
num_bytes: 10004924092
num_examples: 3869772
- name: shard_10
num_bytes: 10212192755
num_examples: 4096444
- name: shard_11
num_bytes: 3663865968
num_examples: 1424007
download_size: 66080652508
dataset_size: 114138100676
configs:
- config_name: default
data_files:
- split: shard_0
path: data/shard_0-*
- split: shard_1
path: data/shard_1-*
- split: shard_2
path: data/shard_2-*
- split: shard_3
path: data/shard_3-*
- split: shard_4
path: data/shard_4-*
- split: shard_5
path: data/shard_5-*
- split: shard_6
path: data/shard_6-*
- split: shard_7
path: data/shard_7-*
- split: shard_8
path: data/shard_8-*
- split: shard_9
path: data/shard_9-*
- split: shard_10
path: data/shard_10-*
- split: shard_11
path: data/shard_11-*
---

数据集信息：
本数据集的特征字段如下：
1. id：字符串型，为数据唯一标识符
2. text：字符串型，存储文本内容
3. added：字符串型，记录数据添加相关信息
4. created：字符串型，记录数据创建相关信息
5. source：字符串型，标注数据来源
6. original_shard_dir：字符串型，原始数据分片的目录路径
7. original_shard_idx：64位整型，原始数据分片的索引编号
8. num_tokens：64位整型，文本包含的Token数量

数据分片划分：
本数据集共包含12个数据分片，详情如下：
- 分片shard_0：总字节数10048491187，包含样本3080525条
- 分片shard_1：总字节数10047334747，包含样本2746799条
- 分片shard_2：总字节数10020442845，包含样本2725694条
- 分片shard_3：总字节数10035011475，包含样本2846397条
- 分片shard_4：总字节数10052333787，包含样本2900288条
- 分片shard_5：总字节数10013214029，包含样本3707634条
- 分片shard_6：总字节数10005928795，包含样本3365483条
- 分片shard_7：总字节数10006714170，包含样本3241452条
- 分片shard_8：总字节数10027646826，包含样本3158601条
- 分片shard_9：总字节数10004924092，包含样本3869772条
- 分片shard_10：总字节数10212192755，包含样本4096444条
- 分片shard_11：总字节数3663865968，包含样本1424007条

本数据集的下载总大小为66080652508字节，数据集总大小为114138100676字节。

配置项：
本数据集默认配置信息如下：
配置名称为default，对应的数据文件路径如下：
- 划分集shard_0：路径为data/shard_0-*
- 划分集shard_1：路径为data/shard_1-*
- 划分集shard_2：路径为data/shard_2-*
- 划分集shard_3：路径为data/shard_3-*
- 划分集shard_4：路径为data/shard_4-*
- 划分集shard_5：路径为data/shard_5-*
- 划分集shard_6：路径为data/shard_6-*
- 划分集shard_7：路径为data/shard_7-*
- 划分集shard_8：路径为data/shard_8-*
- 划分集shard_9：路径为data/shard_9-*
- 划分集shard_10：路径为data/shard_10-*
- 划分集shard_11：路径为data/shard_11-*

原始信息汇总

数据集概述

数据集特征

• id: 字符串类型
• text: 字符串类型
• added: 字符串类型
• created: 字符串类型
• source: 字符串类型
• original_shard_dir: 字符串类型
• original_shard_idx: 整数类型 (int64)
• num_tokens: 整数类型 (int64)

数据集分片

• shard_0:
  • 字节数: 10048491187
  • 样本数: 3080525
• shard_1:
  • 字节数: 10047334747
  • 样本数: 2746799
• shard_2:
  • 字节数: 10020442845
  • 样本数: 2725694
• shard_3:
  • 字节数: 10035011475
  • 样本数: 2846397
• shard_4:
  • 字节数: 10052333787
  • 样本数: 2900288
• shard_5:
  • 字节数: 10013214029
  • 样本数: 3707634
• shard_6:
  • 字节数: 10005928795
  • 样本数: 3365483
• shard_7:
  • 字节数: 10006714170
  • 样本数: 3241452
• shard_8:
  • 字节数: 10027646826
  • 样本数: 3158601
• shard_9:
  • 字节数: 10004924092
  • 样本数: 3869772
• shard_10:
  • 字节数: 10212192755
  • 样本数: 4096444
• shard_11:
  • 字节数: 3663865968
  • 样本数: 1424007

数据集大小

• 下载大小: 66080652508 字节
• 数据集大小: 114138100676 字节

配置

• config_name: default
  • data_files:
    • split: shard_0
      • path: data/shard_0-*
    • split: shard_1
      • path: data/shard_1-*
    • split: shard_2
      • path: data/shard_2-*
    • split: shard_3
      • path: data/shard_3-*
    • split: shard_4
      • path: data/shard_4-*
    • split: shard_5
      • path: data/shard_5-*
    • split: shard_6
      • path: data/shard_6-*
    • split: shard_7
      • path: data/shard_7-*
    • split: shard_8
      • path: data/shard_8-*
    • split: shard_9
      • path: data/shard_9-*
    • split: shard_10
      • path: data/shard_10-*
    • split: shard_11
      • path: data/shard_11-*

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，大规模文本语料库是预训练语言模型的基石。orionweller/dolma_18bn_stratified_sample数据集源自Dolma语料库，通过分层抽样策略构建，旨在兼顾数据多样性与代表性。该数据集包含约18亿个token，按照来源、时间等维度进行分层，确保各子集在分布上与原语料库保持一致。数据以12个分片（shard_0至shard_11）形式存储，每个分片大小约为10GB，总数据量超过114GB，覆盖文本、标识符、时间戳及来源等字段，为研究大规模语言模型训练提供了均衡且可管理的样本。

特点

该数据集的核心特征在于其结构化分层设计。每个样本包含id、text、added、created、source、original_shard_dir、original_shard_idx及num_tokens等字段，便于追溯数据来源与原始分片信息。12个分片在样本数量上分布不均（从约142万至409万不等），但字节数高度均衡（约10GB），体现了对存储与计算效率的优化。这种设计使得研究者能够灵活选择子集进行实验，同时保持数据分布的统计特性，特别适用于评估模型在不同数据规模下的泛化能力与稳定性。

使用方法

使用该数据集时，可通过HuggingFace的datasets库加载，指定配置名为'default'，并利用data_files参数指向各分片的通配符路径（如data/shard_0-*）。加载后，数据以字典形式呈现，支持按分片索引访问，便于分布式训练中的分片分配。由于分片数量较多，建议采用流式加载（streaming=True）以节省内存，或按需加载特定分片进行小规模实验。此外，字段中的num_tokens可用于过滤或平衡样本长度，source字段则支持按来源进行子集划分，为多任务学习与领域适应研究提供了便利。

背景与挑战

背景概述

在大规模语言模型预训练领域，高质量、多样化的文本语料库是模型性能提升的基石。orionweller/dolma_18bn_stratified_sample数据集由Allen Institute for AI等机构的研究人员于2024年创建，旨在为语言模型提供经过分层采样的海量文本数据。该数据集从原始Dolma语料库中提取了约180亿个令牌，涵盖了来自网页、学术论文、代码、书籍等多种来源的文本，通过精细的分层抽样策略确保了数据分布的平衡性与代表性。其核心研究问题聚焦于如何构建一个既具备规模又兼顾质量与多样性的预训练数据集，以支持更高效、更鲁棒的模型训练。该数据集的出现为自然语言处理社区提供了重要的数据基础设施，推动了语言模型在理解与生成任务上的进一步发展。

当前挑战

该数据集面临的核心挑战首先在于解决领域内数据质量与多样性难以兼顾的困境——传统大规模语料库常因来源单一或噪声过多导致模型泛化能力受限，而Dolma通过分层抽样试图平衡不同来源的文本比例，但如何精确控制各子集的代表性仍是一大难题。其次，构建过程中遭遇了显著的技术挑战，包括处理超过100GB的原始数据时需设计高效的分片与索引策略（如shard_0至shard_11的分区），以及确保跨分片的数据去重与一致性。此外，数据清洗、令牌化与隐私过滤等环节需在保留语义完整性的同时消除有害内容，这对自动化处理管道的鲁棒性提出了极高要求。

常用场景

经典使用场景

在自然语言处理领域，大规模预训练语言模型的性能高度依赖于训练数据的规模与质量。orionweller/dolma_18bn_stratified_sample 数据集以其约18亿个token的庞大体量与分层抽样的精心设计，成为语言模型预训练与持续训练任务中的经典数据资源。研究者常利用其多来源、多时间戳的文本特征，开展从零开始的模型训练或领域自适应微调，尤其在探索数据混合策略对模型泛化能力的影响时，该数据集提供了理想的实验平台。其结构化分片（shard）设计便于分布式训练框架的高效加载，使得在大规模集群上复现或改进现有模型成为可能。

衍生相关工作

基于此数据集，学术界涌现了一系列具有影响力的衍生工作。其中，关于数据混合比例对模型困惑度影响的系统性分析，为后续的课程学习与主动学习策略提供了理论支撑。另有研究利用该数据集的分片特性，探索了渐进式训练（progressive training）中数据顺序对收敛速度的影响，提出了动态数据调度算法。此外，该数据集还催生了针对多语言与跨领域迁移学习的基准测试，推动了如Dolma系列等更大规模数据集的构建与开源，形成了从数据到模型再到评估的完整研究链条。

数据集最近研究

最新研究方向

在大规模语言模型预训练语料库的构建与优化领域，orionweller/dolma_18bn_stratified_sample数据集代表了前沿的分层采样技术应用。该数据集从海量文本中提取出约180亿token的均衡样本，特别关注数据来源的多样性（如added、created时间戳及source字段），以缓解传统语料库中存在的分布偏差问题。当前研究热点集中于利用此类分层结构提升模型在少样本学习、跨领域泛化及长文本理解上的表现，同时结合数据去重与质量过滤策略，推动更高效、更公平的预训练范式发展。这一方向对减少语言模型的社会偏见、增强其在不同应用场景下的鲁棒性具有重要影响，也为构建可解释、可追溯的大规模训练数据提供了新基准。