emozilla/dolma-v1_7-30B-tokenized-llama3-nanoset

Dolma数据集是一个用于文本生成任务的大型语言模型数据集，使用英语。它被标记为语言建模、因果语言模型和大型语言模型（LLM）。数据集的大小在100B到1T之间。该数据集是NousResearch/dolma-v1_7-30B的Tokenized（Llama 3）版本，被分割成10GB的块，可以通过特定的shell命令重新组合。此外，该数据集可以直接使用numpy进行处理。

The Dolma dataset is a Tokenized version of NousResearch/dolma-v1_7-30B, processed with Llama 3 and split into 10 GB chunks. This dataset is primarily used for language modeling tasks, particularly large language models (LLM) and casual language models (casual-lm). The dataset size ranges from 100B to 1T. Users can recombine these chunks with a simple command and process them directly using numpy.

原始信息汇总

Dolma 数据集概述

基本信息

• 许可证: odc-by
• 任务类别:
  • 文本生成
• 语言:
  • 英语
• 标签:
  • 语言建模
  • 休闲语言模型
  • 大型语言模型
• 大小类别:
  • 100B < n < 1T

数据集描述

• 名称: Dolma
• 版本: Llama 3
• 来源: NousResearch/dolma-v1_7-30B
• 处理工具: Nanotron
• 分割方式: 数据集被分割成10 GB的块

数据集使用

• 重组方法: shell cat dolma-v1_7-30B-nanoset-l3_input_ids.npy.* > dolma-v1_7-30B-nanoset-l3_input_ids.npy

• 直接使用: python import numpy as np

  dataset_buffer_mmap = np.memmap("dolma-v1_7-30B-nanoset-l3_input_ids.npy", mode="r", order="C", dtype=np.int32) dataset_buffer = memoryview(dataset_buffer_mmap) dataset_number_of_tokens = int(len(dataset_buffer))