timpal0l/line-extracted-subset

该数据集包含两个特征：input_ids用于存储序列的整数标识，attention_mask用于存储注意力掩码。数据集分为训练集和测试集，训练集包含6259736个样本，测试集包含695527个样本。数据集的总下载大小为25624518106字节，总数据集大小为71277535224.0字节。数据集配置名为default，训练和测试数据分别存储在data/train-*和data/test-*路径下。

The dataset includes two features: input_ids for storing integer identifiers of sequences and attention_mask for storing attention masks. The dataset is split into a training set with 6259736 samples and a test set with 695527 samples. The total download size of the dataset is 25624518106 bytes, and the total dataset size is 71277535224.0 bytes. The dataset configuration is named default, with training and test data stored in data/train-* and data/test-* paths respectively.

原始信息汇总

数据集概述

特征

• input_ids: 序列类型为 int32
• attention_mask: 序列类型为 int8

数据分割

• train:
  • 字节数: 64149774528.0
  • 样本数: 6259736
• test:
  • 字节数: 7127760696.0
  • 样本数: 695527

数据集大小

• 下载大小: 25624518106
• 总大小: 71277535224.0

配置

• default:
  • train: 数据路径为 data/train-*
  • test: 数据路径为 data/test-*