rusano/Teli5_1K_tokenized

---
dataset_info:
features:
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
- name: labels
sequence: int64
- name: decoder_attention_mask
sequence: int64
splits:
- name: train
num_bytes: 2013563824
num_examples: 218107
- name: val
num_bytes: 503393264
num_examples: 54527
download_size: 651358784
dataset_size: 2516957088
---
# Dataset Card for "Teli5_1K_tokenized"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

数据集信息：
特征：
- 输入Token标识（input_ids）：int32类型序列特征
- 注意力掩码（attention_mask）：int8类型序列特征
- 标签（labels）：int64类型序列特征
- 解码器注意力掩码（decoder_attention_mask）：int64类型序列特征
数据划分：
- 训练集（train）：占用字节数2013563824，共包含218107个样本
- 验证集（val）：占用字节数503393264，共包含54527个样本
下载大小：651358784字节
数据集总大小：2516957088字节
---
# "Teli5_1K_tokenized"数据集卡片
[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

Teli5_1K_tokenized

数据集特征

• input_ids：整数序列，数据类型为int32。
• attention_mask：整数序列，数据类型为int8。
• labels：整数序列，数据类型为int64。
• decoder_attention_mask：整数序列，数据类型为int64。

数据集分割

• 训练集（train）：包含218107个样本，总大小为2013563824字节。
• 验证集（val）：包含54527个样本，总大小为503393264字节。

数据集大小

• 下载大小：651358784字节。
• 总数据集大小：2516957088字节。