markus583/mC4-TEST

--- dataset_info: features: - name: text dtype: string - name: ends_with_punctuation dtype: bool - name: lang dtype: string splits: - name: valid num_bytes: 80176666 num_examples: 311196 - name: train num_bytes: 81031620567 num_examples: 312181384 download_size: 40526239410 dataset_size: 81111797233 configs: - config_name: default data_files: - split: train path: data/train-* - split: valid path: data/valid-* ---数据集信息: 特征项: - 名称: 文本（text），数据类型: 字符串（string） - 名称: 是否以标点结尾（ends_with_punctuation），数据类型: 布尔（bool） 数据集拆分: - 拆分名称: 验证集（valid），字节数: 80176666，样本数: 311196 - 拆分名称: 训练集（train），字节数: 81031620567，样本数: 312181384 下载大小: 40526239410 总数据大小: 81111797233 配置项: - 配置名称: 默认配置（default），数据文件: - 拆分: 训练集（train），路径: data/train-* - 拆分: 验证集（valid），路径: data/valid-*

原始信息汇总

数据集信息

特征

• text: 数据类型为字符串（string）
• ends_with_punctuation: 数据类型为布尔值（bool）
• lang: 数据类型为字符串（string）

数据分割

• valid:
  • 字节数: 80176666
  • 样本数: 311196
• train:
  • 字节数: 81031620567
  • 样本数: 312181384

数据大小

• 下载大小: 40526239410 字节
• 数据集大小: 81111797233 字节

配置

• default:
  • 数据文件:
    • train: data/train-*
    • valid: data/valid-*