prism-lab/wmt14-de-en-bucketed-w4

---
dataset_info:
features:
- name: input_ids
list: int32
- name: attention_mask
list: int8
- name: labels
list: int64
- name: input_length
dtype: int64
- name: labels_length
dtype: int64
- name: bucket_id
dtype: int64
splits:
- name: train
num_bytes: 2467657022.0
num_examples: 4425667
- name: validation
num_bytes: 1451448
num_examples: 2985
- name: test
num_bytes: 1552674
num_examples: 3000
download_size: 775057909
dataset_size: 2470661144.0
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
- split: test
path: data/test-*
---

数据集信息：
特征：
- 名称：input_ids（输入ID），类型为32位整数列表
- 名称：attention_mask（注意力掩码），类型为8位整数列表
- 名称：labels（标签），类型为64位整数列表
- 名称：input_length（输入长度），数据类型为64位整数
- 名称：labels_length（标签长度），数据类型为64位整数
- 名称：bucket_id（桶ID），数据类型为64位整数
数据划分：
- 名称：train（训练集），占用字节数：2467657022.0，样本数量：4425667
- 名称：validation（验证集），占用字节数：1451448，样本数量：2985
- 名称：test（测试集），占用字节数：1552674，样本数量：3000
下载大小：775057909
数据集总大小：2470661144.0
配置项：
- 配置名称：default（默认配置），数据文件：
- 划分：train（训练集），路径：data/train-*
- 划分：validation（验证集），路径：data/validation-*
- 划分：test（测试集），路径：data/test-*