NousResearch/dolma-v1_7-30B-tokenized-llama3-nanoset

Dolma数据集是一个用于文本生成任务的大型语言模型数据集，包含超过1000亿个标记。它是NousResearch/dolma-v1_7-30B数据集的Llama 3版本，被分割成10GB的块以便于处理。数据集可以直接使用numpy进行读取，或者通过命令行工具重新组合分块文件。

原始信息汇总

数据集概述

基本信息

• 许可证: odc-by
• 任务类别: text-generation
• 语言: en
• 标签:
  • language-modeling
  • casual-lm
  • llm
• 名称: Dolma
• 大小范围: 100B<n<1T

数据集版本与格式

• 版本: Tokenized (Llama 3)
• 来源: NousResearch/dolma-v1_7-30B
• 格式: 分割成10 GB的chunks，使用Nanotron格式

使用方法

• 重组数据: shell cat dolma-v1_7-30B-nanoset-l3_input_ids.npy.* > dolma-v1_7-30B-nanoset-l3_input_ids.npy

• 直接使用: python import numpy as np

  dataset_buffer_mmap = np.memmap("dolma-v1_7-30B-nanoset-l3_input_ids.npy", mode="r", order="C", dtype=np.int32) dataset_buffer = memoryview(dataset_buffer_mmap) dataset_number_of_tokens = int(len(dataset_buffer))