Kaushik36/tokenized-xnaamapadam-tm-en-hi-te-combined

---
dataset_info:
features:
- name: input_ids
sequence: int32
- name: token_type_ids
sequence: int8
- name: attention_mask
sequence: int8
- name: labels
sequence: int64
splits:
- name: train
num_bytes: 1345466792
num_examples: 2463173
- name: test
num_bytes: 1570726
num_examples: 3491
- name: validation
num_bytes: 15135302
num_examples: 21336
download_size: 139589409
dataset_size: 1362172820
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: test
path: data/test-*
- split: validation
path: data/validation-*
---

数据集信息：
特征：
- 名称：输入ID序列（input_ids），类型：int32序列
- 名称：令牌类型ID序列（token_type_ids），类型：int8序列
- 名称：注意力掩码（attention_mask），类型：int8序列
- 名称：标签（labels），类型：int64序列
数据集拆分：
- 名称：训练集（train），占用字节数：1345466792，样本数量：2463173
- 名称：测试集（test），占用字节数：1570726，样本数量：3491
- 名称：验证集（validation），占用字节数：15135302，样本数量：21336
下载大小：139589409，数据集总大小：1362172820
配置项：
- 配置名称：默认配置（default），数据文件：
- 拆分：训练集，路径：data/train-*
- 拆分：测试集，路径：data/test-*
- 拆分：验证集，路径：data/validation-*