Brendan/babylm-processed

--- dataset_info: features: - name: input_ids sequence: int32 - name: attention_mask sequence: int8 - name: special_tokens_mask sequence: int8 splits: - name: train num_bytes: 6405468 num_examples: 2077 - name: valid num_bytes: 1612932 num_examples: 523 download_size: 2868688 dataset_size: 8018400 --- # Dataset Card for "babylm-processed" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

babylm-processed

数据集特征

• input_ids
  • 数据类型: int32
  • 序列类型: 序列
• attention_mask
  • 数据类型: int8
  • 序列类型: 序列
• special_tokens_mask
  • 数据类型: int8
  • 序列类型: 序列

数据集分割

• 训练集 (train)
  • 数据大小: 6405468 字节
  • 样本数量: 2077
• 验证集 (valid)
  • 数据大小: 1612932 字节
  • 样本数量: 523

数据集大小

• 下载大小: 2868688 字节
• 数据集总大小: 8018400 字节