hotchpotch/cc100-ja-documents

cc100-ja-documents数据集是基于HuggingFace上公开的cc100和cc100-ja数据集创建的，通过将line单位的分割合并为document单位。该数据集包含文本、ID和文本长度三个特性，仅包含一个训练集分割。数据集的下载大小为45454804676字节，总大小为79102018399字节，包含65613665个例子。该数据集遵循原始cc100数据集的许可证。

The cc100-ja-documents dataset is created based on the cc100 and cc100-ja datasets publicly available on HuggingFace, by merging line-separated units into document units. The dataset includes features such as text, ID, and text length, and contains only one training split. The download size of the dataset is 45454804676 bytes, with a total size of 79102018399 bytes, encompassing 65613665 examples. The dataset adheres to the license of the original cc100 dataset.

原始信息汇总

cc100-ja-documents 数据集概述

数据集信息

• 语言: 日语 (ja)
• 特征:
  • text: 文本数据，数据类型为 string
  • id: 标识符，数据类型为 string
  • text_length: 文本长度，数据类型为 int64
• 分割:
  • train: 训练集，包含 65,613,665 个样本，数据大小为 79,102,018,399 字节
• 数据大小:
  • 下载大小: 45,454,804,676 字节
  • 数据集总大小: 79,102,018,399 字节

配置

• 配置名称: default
• 数据文件:
  • train: 路径为 data/train-*

其他信息

• 该数据集是基于 cc100 和 cc100-ja 的文档级合并版本。
• 许可证遵循 原始的 cc100 的许可证。