duckaiml/mc4_310

该数据集是mc4数据集，但以HPC友好的parquet格式存储，每个分片大小为32GiB。数据集包含source、id、text、added、timestamp和metadata等字段。训练集包含24035493个样本，总大小为151177516676字节。数据集的下载大小为16185376673字节。数据集的配置名为ko，数据文件路径为ko/train-*。数据集的版权信息归Google和AI^2所有。

This dataset is the mc4 dataset, stored in an HPC-friendly Parquet format, with each shard sized at 32 GiB. It comprises fields including source, id, text, added, timestamp, and metadata. The training set consists of 24,035,493 samples, with a total size of 151,177,516,676 bytes. The download size of the dataset is 16,185,376,673 bytes. The configuration name of the dataset is `ko`, and the data file path is `ko/train-*`. The copyright of this dataset is held by Google and AI^2.

原始信息汇总

数据集概述

数据集信息

• 配置名称: ko
• 特征:
  • source: 字符串类型
  • id: 字符串类型
  • text: 字符串类型
  • added: 字符串类型
  • timestamp: 时间戳类型（秒）
  • metadata: 结构类型，包含字段 url（字符串类型）
  • lang: 结构类型，包含字段 ko.tfrecord（浮点数类型，64位）
• 分割:
  • train: 包含 24035493 个样本，总大小为 151177516676 字节

数据集大小

• 下载大小: 16185376673 字节
• 数据集大小: 151177516676 字节

数据文件

• 配置名称: ko
• 数据文件:
  • 分割: train
  • 路径: ko/train-*