hpprc/wikipedia-20240101

该数据集是通过`apache_beam`和`mwparserfromhell`对常规Wikipedia数据进行预处理后生成的，目的是为了减少本家预处理时间。数据集包含id、url、title和text四个特征，语言为日语，遵循cc-by-sa-3.0许可证。

原始信息汇总

数据集概述

数据集信息

特征

• id: 字符串类型
• url: 字符串类型
• title: 字符串类型
• text: 字符串类型

分割

• train:
  • 字节数: 7088384480
  • 样本数: 1395760

大小

• 下载大小: 3968649901
• 数据集大小: 7088384480

配置

• default:
  • 数据文件:
    • 分割: train
    • 路径: data/train-*

语言

• 日语 (ja)

许可证

• CC-BY-SA-3.0