range3/wikipedia-ja-20230101

该数据集由从Wikipedia数据集中提取的仅包含日语数据的parquet文件组成。它是通过以下Python代码生成的。

This dataset consists of Parquet files containing only Japanese language data extracted from the Wikipedia dataset. It was generated using the following Python code.

原始信息汇总

数据集概述

基本信息

• 名称: range3/wikipedia-ja-20230101
• 语言: 日语 (ja)
• 许可:
  • cc-by-sa-3.0
  • gfdl

数据内容

• 数据集包含从维基百科中提取的日语数据，存储为parquet文件格式。

生成方式

• 数据集通过以下Python代码生成： python import datasets dss = datasets.load_dataset( "wikipedia", language="ja", date="20230101", beam_runner="DirectRunner", )

  for split,ds in dss.items(): ds.to_parquet(f"wikipedia-ja-20230101/{split}.parquet")

任务类别

• 文本生成
• 填空任务