range3/wikipedia-ja-20230101
收藏Hugging Face2023-02-04 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/range3/wikipedia-ja-20230101
下载链接
链接失效反馈官方服务：
资源简介：
该数据集由从Wikipedia数据集中提取的仅包含日语数据的parquet文件组成。它是通过以下Python代码生成的。
提供机构：
range3
原始信息汇总
数据集概述
基本信息
- 名称: range3/wikipedia-ja-20230101
- 语言: 日语 (ja)
- 许可:
- cc-by-sa-3.0
- gfdl
数据内容
- 数据集包含从维基百科中提取的日语数据，存储为parquet文件格式。
生成方式
-
数据集通过以下Python代码生成： python import datasets dss = datasets.load_dataset( "wikipedia", language="ja", date="20230101", beam_runner="DirectRunner", )
for split,ds in dss.items(): ds.to_parquet(f"wikipedia-ja-20230101/{split}.parquet")
任务类别
- 文本生成
- 填空任务
