toramaru-u/cc100-ja-500

该数据集包含多个配置，主要分为default、nsp、nsp-20240716和nsp-with-punctuation。default配置包含文本数据，而其他配置则包含句子对和下一句预测标签。每个配置都有不同的特征和数据集大小，适用于不同的自然语言处理任务。

The dataset contains multiple configurations, primarily divided into default, nsp, nsp-20240716, and nsp-with-punctuation. The default configuration includes text data, while other configurations include sentence pairs and next sentence prediction labels. Each configuration has different features and dataset sizes, suitable for various natural language processing tasks.

原始信息汇总

数据集概述

配置信息

默认配置 (default)

• 特征:
  • text: 数据类型为 string
• 分割:
  • train: 包含 458,387,942 个样本，占用 75,695,613,009 字节
• 下载大小: 44,914,543,914 字节
• 数据集大小: 75,695,613,009 字节

NSP 配置 (nsp)

• 特征:
  • idx: 数据类型为 int64
  • next_sentence_label: 数据类型为 int64
  • sentence_a: 数据类型为 string
  • sentence_b: 数据类型为 string
• 分割:
  • train: 包含 127,086,714 个样本，占用 31,149,226,287 字节
• 下载大小: 19,812,653,583 字节
• 数据集大小: 31,149,226,287 字节

NSP 20240716 配置 (nsp-20240716)

• 特征:
  • idx: 数据类型为 int64
  • next_sentence_label: 数据类型为 int64
  • sentence_a: 数据类型为 string
  • sentence_b: 数据类型为 string
• 分割:
  • train: 包含 127,225,260 个样本，占用 31,853,006,444 字节
• 下载大小: 19,999,258,631 字节
• 数据集大小: 31,853,006,444 字节

NSP with Punctuation 配置 (nsp-with-punctuation)

• 特征:
  • idx: 数据类型为 int64
  • next_sentence_label: 数据类型为 int64
  • sentence_a: 数据类型为 string
  • sentence_b: 数据类型为 string
• 分割:
  • train: 包含 127,225,260 个样本，占用 31,853,006,444 字节
• 下载大小: 19,999,258,631 字节
• 数据集大小: 31,853,006,444 字节

数据文件路径

默认配置 (default)

• train: data/train-*

NSP 配置 (nsp)

• train: nsp/train-*

NSP 20240716 配置 (nsp-20240716)

• train: nsp-20240716/train-*

NSP with Punctuation 配置 (nsp-with-punctuation)

• train: nsp-with-punctuation/train-*