rusano/Teli5_tokenized

---
dataset_info:
features:
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
- name: labels
sequence: int64
- name: decoder_attention_mask
sequence: int64
splits:
- name: train
num_bytes: 6257053616
num_examples: 218107
- name: val
num_bytes: 1564270576
num_examples: 54527
download_size: 2210974259
dataset_size: 7821324192
---
# Dataset Card for "Teli5_tokenized"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

数据集信息：
特征项：
- 名称：输入序列ID（input_ids），序列类型为int32整数序列
- 名称：注意力掩码（attention_mask），序列类型为int8整数序列
- 名称：标签（labels），序列类型为int64整数序列
- 名称：解码器注意力掩码（decoder_attention_mask），序列类型为int64整数序列
数据集划分：
- 划分名称：训练集（train），占用字节数：6257053616，样本数量：218107
- 划分名称：验证集（val），占用字节数：1564270576，样本数量：54527
下载总大小：2210974259字节
数据集总存储大小：7821324192字节

# "Teli5_tokenized"数据集卡片
[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

• Teli5_tokenized

数据集特征

• input_ids：序列类型为int32
• attention_mask：序列类型为int8
• labels：序列类型为int64
• decoder_attention_mask：序列类型为int64

数据集分割

• 训练集 (train)：
  • 样本数量：218107
  • 数据大小：6257053616 字节
• 验证集 (val)：
  • 样本数量：54527
  • 数据大小：1564270576 字节

数据集大小

• 下载大小：2210974259 字节
• 总数据大小：7821324192 字节