toramaru-u/cc100-ja-76

该数据集包含两个配置：default和nsp。default配置主要包含文本数据，特征为text，数据类型为字符串。nsp配置包含四个特征：idx（整型）、next_sentence_label（整型）、sentence_a（字符串）和sentence_b（字符串），用于下一句预测任务。两个配置都只有一个训练分割，分别包含大量的字节和示例。

The dataset includes two configurations: default and nsp. The default configuration primarily contains text data with a feature named text of string type. The nsp configuration contains four features: idx (int64), next_sentence_label (int64), sentence_a (string), and sentence_b (string), intended for next sentence prediction tasks. Both configurations have only one training split, each containing a large number of bytes and examples.

原始信息汇总

数据集概述

配置信息

默认配置 (default)

• 特征:
  • text: 数据类型为 string
• 分割:
  • train:
    • 字节数: 75,695,613,009
    • 样本数: 458,387,942
• 下载大小: 44,915,133,864 字节
• 数据集大小: 75,695,613,009 字节
• 数据文件路径: data/train-*

NSP 配置 (nsp)

• 特征:
  • idx: 数据类型为 int64
  • next_sentence_label: 数据类型为 int64
  • sentence_a: 数据类型为 string
  • sentence_b: 数据类型为 string
• 分割:
  • train:
    • 字节数: 31,150,074,680
    • 样本数: 127,086,714
• 下载大小: 19,813,849,727 字节
• 数据集大小: 31,150,074,680 字节
• 数据文件路径: nsp/train-*