orionweller/dolma_20bn_instruct_upsample

---
dataset_info:
features:
- name: id
dtype: string
- name: text
dtype: string
- name: added
dtype: string
- name: created
dtype: string
- name: source
dtype: string
- name: original_shard_dir
dtype: string
- name: original_shard_idx
dtype: int64
- name: num_tokens
dtype: int64
splits:
- name: shard_0
num_bytes: 10010006336
num_examples: 2997700
- name: shard_1
num_bytes: 10041512099
num_examples: 2763408
- name: shard_2
num_bytes: 10015810172
num_examples: 2719516
- name: shard_3
num_bytes: 10039547720
num_examples: 2911206
- name: shard_4
num_bytes: 10000995298
num_examples: 3561063
- name: shard_5
num_bytes: 10008788050
num_examples: 3382942
- name: shard_6
num_bytes: 10009654657
num_examples: 3187332
- name: shard_7
num_bytes: 10055922854
num_examples: 3175214
- name: shard_8
num_bytes: 10120258157
num_examples: 4621161
- name: shard_9
num_bytes: 10456646323
num_examples: 5064727
- name: shard_10
num_bytes: 10238955984
num_examples: 10307824
- name: shard_11
num_bytes: 10130423031
num_examples: 3942796
- name: shard_12
num_bytes: 6457714538
num_examples: 5730807
download_size: 63642442616
dataset_size: 127586235219
configs:
- config_name: default
data_files:
- split: shard_0
path: data/shard_0-*
- split: shard_1
path: data/shard_1-*
- split: shard_2
path: data/shard_2-*
- split: shard_3
path: data/shard_3-*
- split: shard_4
path: data/shard_4-*
- split: shard_5
path: data/shard_5-*
- split: shard_6
path: data/shard_6-*
- split: shard_7
path: data/shard_7-*
- split: shard_8
path: data/shard_8-*
- split: shard_9
path: data/shard_9-*
- split: shard_10
path: data/shard_10-*
- split: shard_11
path: data/shard_11-*
- split: shard_12
path: data/shard_12-*
---

数据集信息：
特征：
- 名称：id，数据类型：字符串
- 名称：text，数据类型：字符串
- 名称：added，数据类型：字符串
- 名称：created，数据类型：字符串
- 名称：source，数据类型：字符串
- 名称：original_shard_dir，数据类型：字符串
- 名称：original_shard_idx，数据类型：int64
- 名称：num_tokens，数据类型：int64
拆分：
- 名称：shard_0，字节数：10010006336，样本数：2997700
- 名称：shard_1，字节数：10041512099，样本数：2763408
- 名称：shard_2，字节数：10015810172，样本数：2719516
- 名称：shard_3，字节数：10039547720，样本数：2911206
- 名称：shard_4，字节数：10000995298，样本数：3561063
- 名称：shard_5，字节数：10008788050，样本数：3382942
- 名称：shard_6，字节数：10009654657，样本数：3187332
- 名称：shard_7，字节数：10055922854，样本数：3175214
- 名称：shard_8，字节数：10120258157，样本数：4621161
- 名称：shard_9，字节数：10456646323，样本数：5064727
- 名称：shard_10，字节数：10238955984，样本数：10307824
- 名称：shard_11，字节数：10130423031，样本数：3942796
- 名称：shard_12，字节数：6457714538，样本数：5730807
下载大小：63642442616字节
数据集大小：127586235219字节
配置：
- 配置名称：default，数据文件：
- 拆分：shard_0，路径：data/shard_0-*
- 拆分：shard_1，路径：data/shard_1-*
- 拆分：shard_2，路径：data/shard_2-*
- 拆分：shard_3，路径：data/shard_3-*
- 拆分：shard_4，路径：data/shard_4-*
- 拆分：shard_5，路径：data/shard_5-*
- 拆分：shard_6，路径：data/shard_6-*
- 拆分：shard_7，路径：data/shard_7-*
- 拆分：shard_8，路径：data/shard_8-*
- 拆分：shard_9，路径：data/shard_9-*
- 拆分：shard_10，路径：data/shard_10-*
- 拆分：shard_11，路径：data/shard_11-*
- 拆分：shard_12，路径：data/shard_12-*

原始信息汇总

数据集概述

数据集特征

• id: 字符串类型
• text: 字符串类型
• added: 字符串类型
• created: 字符串类型
• source: 字符串类型
• original_shard_dir: 字符串类型
• original_shard_idx: 64位整数类型
• num_tokens: 64位整数类型

数据集分割

• shard_0: 10010006336字节, 2997700个样本
• shard_1: 10041512099字节, 2763408个样本
• shard_2: 10015810172字节, 2719516个样本
• shard_3: 10039547720字节, 2911206个样本
• shard_4: 10000995298字节, 3561063个样本
• shard_5: 10008788050字节, 3382942个样本
• shard_6: 10009654657字节, 3187332个样本
• shard_7: 10055922854字节, 3175214个样本
• shard_8: 10120258157字节, 4621161个样本
• shard_9: 10456646323字节, 5064727个样本
• shard_10: 10238955984字节, 10307824个样本
• shard_11: 10130423031字节, 3942796个样本
• shard_12: 6457714538字节, 5730807个样本

数据集大小

• 下载大小: 63642442616字节
• 数据集大小: 127586235219字节

配置

• config_name: default
  • data_files:
    • shard_0: data/shard_0-*
    • shard_1: data/shard_1-*
    • shard_2: data/shard_2-*
    • shard_3: data/shard_3-*
    • shard_4: data/shard_4-*
    • shard_5: data/shard_5-*
    • shard_6: data/shard_6-*
    • shard_7: data/shard_7-*
    • shard_8: data/shard_8-*
    • shard_9: data/shard_9-*
    • shard_10: data/shard_10-*
    • shard_11: data/shard_11-*
    • shard_12: data/shard_12-*

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，高质量指令微调数据集的构建是提升模型对齐能力的关键。orionweller/dolma_20bn_instruct_upsample数据集源自Dolma语料库，通过上采样策略对指令数据进行增强，以平衡数据分布并丰富指令多样性。该数据集包含约200亿个token，以分片形式组织，共划分为13个shard（shard_0至shard_12），每个shard包含数百万条样本，总样本量超过5000万。每条数据记录由唯一标识符、文本内容、时间戳、来源及原始分片信息等字段构成，便于追溯与过滤。数据集采用HuggingFace Datasets标准格式存储，支持按分片加载，兼顾了大规模数据的高效访问与灵活性。

特点

该数据集的核心特色在于其规模与结构设计的精妙平衡。近127.6GB的总数据量使其成为指令微调领域的巨量资源，能够有效缓解模型过拟合问题。每个样本均附带详细的元数据，包括token数量、创建时间及来源，为研究者提供了数据质量评估与筛选的便利。通过上采样技术，数据集在保留原始语料多样性的同时，强化了指令型样本的占比，有助于提升模型对复杂指令的理解与执行能力。分片策略不仅降低了单次加载的内存压力，还支持分布式训练场景下的并行处理，适应了从学术研究到工业级应用的多元需求。

使用方法

使用该数据集进行模型微调时，推荐采用HuggingFace Datasets库进行加载，通过指定配置名'default'即可自动获取全部13个分片的数据。研究者可根据需求选择特定分片进行小规模实验，或利用流式加载（streaming）模式处理完整数据集以节省内存。数据加载后，每个样本的'text'字段可直接作为输入文本，'source'字段可用于来源分析或领域过滤。建议结合Transformers库中的Trainer或自定义训练循环，将数据按批次处理并适配指令微调模板。此外，由于数据集已预分片，用户可自行设计分片间的交叉验证策略，以评估模型在不同数据子集上的泛化表现。

背景与挑战

背景概述

在大型语言模型（LLM）的快速发展中，高质量、多样化的指令微调数据是提升模型对齐能力与泛化性能的关键。orionweller/dolma_20bn_instruct_upsample数据集诞生于2024年，由Allen Institute for AI等研究机构主导构建，旨在解决现有开源指令数据集规模有限、领域覆盖不均的问题。该数据集基于Dolma语料库进行上采样与指令化处理，包含超过200亿tokens的文本数据，覆盖网络文本、学术文献、代码、书籍等多源异构内容。其核心研究问题在于探索如何通过大规模指令增强数据提升LLM在复杂任务上的指令遵循能力，并推动开放科学框架下训练数据的透明化。该数据集已成为多个前沿LLM训练的重要基础资源，对促进社区研究范式的转变具有深远影响。

当前挑战

该数据集所面临的挑战体现在多个层面。首先，从领域问题来看，指令微调数据需要兼顾多样性与质量，但大规模爬取数据中常混有噪声、偏见或低质量内容，如何有效过滤并保持语义一致性是核心难题。其次，构建过程中，将通用语料转换为高质量指令-响应对需要大量人工标注或模型蒸馏，而Dolma的20B规模上采样策略可能导致数据冗余或分布偏移，影响模型训练的稳定性。此外，数据分片（如shard_0至shard_12）的存储与高效加载、版权合规性审查，以及跨语言与跨领域的均衡性维持，均为实际部署中不可忽视的技术壁垒。

常用场景

经典使用场景

在自然语言处理领域，大规模指令微调是提升语言模型泛化能力的关键路径。orionweller/dolma_20bn_instruct_upsample 数据集汇聚了超过200亿条经过上采样处理的指令数据，涵盖多样化的任务类型与领域知识。其经典使用场景在于作为基础训练语料，用于对预训练语言模型进行监督式微调，使模型能够精准理解并执行人类指令。研究者常将其与通用预训练模型结合，通过全参数或参数高效微调方法，系统性地增强模型在对话生成、文本摘要、代码生成等任务上的指令遵循能力，从而构建更智能、更可控的交互式AI系统。

实际应用

在实际产业应用中，该数据集成为智能客服、自动化内容生成与代码辅助开发等系统的核心训练资源。企业可基于该数据集微调语言模型，使其精准响应客户咨询、生成高质量营销文案或实时补全代码片段。尤其在多轮对话场景中，数据集中的上采样指令有助于模型学习对话历史与当前指令间的逻辑承接关系，提升交互的自然度与任务完成率。此外，该数据集还被用于开发个性化教育助手与医疗咨询原型系统，通过指令微调实现领域知识的高效注入与安全可控的输出。

衍生相关工作

该数据集衍生了一系列影响深远的学术工作。研究者基于其构建了多种指令微调基准框架，如利用数据子集探索最优指令格式与任务组合对模型性能的影响。相关工作还包括开发动态上采样策略，根据模型反馈自适应调整指令分布以缓解灾难性遗忘。此外，有学者将该数据集与强化学习从人类反馈相结合，提出迭代式对齐方法，显著提升了模型在复杂推理任务上的指令遵循可靠性。这些衍生工作不仅深化了对指令微调机制的理解，也推动了开源社区中大规模指令数据构建标准的演进。