gokulsrinivasagan/wiki40b_processed

该数据集包含两个主要特征：wikidata_id和text，分别表示维基数据标识符和相关文本内容。数据集分为训练集和验证集，训练集包含2,926,536个样本，验证集包含6,544个样本。数据集的下载大小为5,574,055,209字节，总大小为9,444,563,394.874208字节。

The dataset includes two main features: wikidata_id and text, representing Wikidata identifiers and related text content, respectively. The dataset is divided into a training set and a validation set, with the training set containing 2,926,536 samples and the validation set containing 6,544 samples. The download size of the dataset is 5,574,055,209 bytes, and the total size is 9,444,563,394.874208 bytes.

原始信息汇总

数据集概述

数据集特征

• wikidata_id: 数据类型为字符串。
• text: 数据类型为字符串。
• version_id: 数据类型为字符串。

数据集分割

• train:
  • 字节数: 9423468036
  • 样本数: 2926536
• validation:
  • 字节数: 21095358.874209184
  • 样本数: 6544

数据集大小

• 下载大小: 5574055209 字节
• 总大小: 9444563394.874208 字节

配置

• config_name: default
  • 数据文件:
    • train: data/train-*
    • validation: data/validation-*