Respair/Tokenized_Text-PH_Updated

该数据集包含四个主要特征：translation（包含phonemize和text两个子特征）、input_ids、attention_mask和labels。数据集被分为训练集和测试集，训练集包含500,000个样本，测试集包含25,000个样本。数据集的下载大小为1,864,979,283字节，总大小为6,772,291,664字节。

The dataset includes multiple features such as translation (containing phonemize and text fields), input_ids, attention_mask, and labels. It is divided into train and test splits, with 500000 and 25000 examples respectively. The download size of the dataset is 1864979283 bytes, and the total size is 6772291664 bytes.

原始信息汇总

数据集概述

特征信息

• translation:
  • phonemize: 数据类型为字符串
  • text: 数据类型为字符串
• input_ids: 序列类型为int32
• attention_mask: 序列类型为int8
• labels: 序列类型为int64

数据集划分

• train:
  • 字节数: 6450187335
  • 样本数: 500000
• test:
  • 字节数: 322104329
  • 样本数: 25000

数据集大小

• 下载大小: 1864979283字节
• 总大小: 6772291664字节

配置信息

• default:
  • train: 数据文件路径为data/train-*
  • test: 数据文件路径为data/test-*