emozilla/yarn-train-tokenized-8k-llama

--- dataset_info: features: - name: input_ids sequence: int32 - name: attention_mask sequence: int8 - name: labels sequence: int64 splits: - name: train num_bytes: 22643813816 num_examples: 212602 download_size: 6260733414 dataset_size: 22643813816 configs: - config_name: default data_files: - split: train path: data/train-* --- # Dataset Card for "yarn-train-tokenized-8k-llama" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)# 「yarn-train-tokenized-8k-llama」数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards) ## 数据集信息 ### 特征 - 输入标识（input_ids）：序列类型特征，元素为32位整数（int32） - 注意力掩码（attention_mask）：序列类型特征，元素为8位整数（int8） - 标签（labels）：序列类型特征，元素为64位整数（int64） ### 数据划分 - 训练集（train）：数据字节数为22643813816，样本总量为212602 ### 统计信息 下载大小：6260733414 字节 数据集总大小：22643813816 字节 ### 配置 - 默认配置（default）：关联数据文件对应训练划分，路径为`data/train-*`

原始信息汇总

数据集概述

特征信息

• input_ids: 序列类型为 int32
• attention_mask: 序列类型为 int8
• labels: 序列类型为 int64

数据分割

• train: 包含 212602 个样本，总字节数为 22643813816

数据集大小

• 下载大小: 6260733414 字节
• 数据集大小: 22643813816 字节

配置信息

• config_name: default
• data_files:
  • split: train
  • path: data/train-*