Xuezha/tokenizedLambada

---
dataset_info:
features:
- name: text
dtype: string
- name: domain
dtype: string
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
splits:
- name: train
num_bytes: 14288195418
num_examples: 2662
- name: test
num_bytes: 25766837555
num_examples: 5153
- name: validation
num_bytes: 24346746694
num_examples: 4869
download_size: 976873299
dataset_size: 64401779667
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: test
path: data/test-*
- split: validation
path: data/validation-*
---

原始信息汇总

数据集概述

数据特征

• text: 类型为字符串。
• domain: 类型为字符串。
• input_ids: 类型为整数序列，数据类型为int32。
• attention_mask: 类型为整数序列，数据类型为int8。

数据集划分

• train: 包含2662个样本，占用14288195418字节。
• test: 包含5153个样本，占用25766837555字节。
• validation: 包含4869个样本，占用24346746694字节。

数据集大小

• 下载大小: 976873299字节。
• 总数据集大小: 64401779667字节。

配置

• default:
  • train: 数据文件路径为data/train-*。
  • test: 数据文件路径为data/test-*。
  • validation: 数据文件路径为data/validation-*。