rusano/Teli5_1K_tokenized

--- dataset_info: features: - name: input_ids sequence: int32 - name: attention_mask sequence: int8 - name: labels sequence: int64 - name: decoder_attention_mask sequence: int64 splits: - name: train num_bytes: 2013563824 num_examples: 218107 - name: val num_bytes: 503393264 num_examples: 54527 download_size: 651358784 dataset_size: 2516957088 --- # Dataset Card for "Teli5_1K_tokenized" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)数据集信息： 特征： - 输入Token标识（input_ids）：int32类型序列特征 - 注意力掩码（attention_mask）：int8类型序列特征 - 标签（labels）：int64类型序列特征 - 解码器注意力掩码（decoder_attention_mask）：int64类型序列特征 数据划分： - 训练集（train）：占用字节数2013563824，共包含218107个样本 - 验证集（val）：占用字节数503393264，共包含54527个样本 下载大小：651358784字节 数据集总大小：2516957088字节 --- # "Teli5_1K_tokenized"数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

Teli5_1K_tokenized

数据集特征

• input_ids：整数序列，数据类型为int32。
• attention_mask：整数序列，数据类型为int8。
• labels：整数序列，数据类型为int64。
• decoder_attention_mask：整数序列，数据类型为int64。

数据集分割

• 训练集（train）：包含218107个样本，总大小为2013563824字节。
• 验证集（val）：包含54527个样本，总大小为503393264字节。

数据集大小

• 下载大小：651358784字节。
• 总数据集大小：2516957088字节。