zetavg/CC-100-zh-Hant-merged

CC-100 zh-Hant（繁体中文）数据集是从https://data.statmt.org/cc-100/中提取的，仅包含繁体中文内容，并按段落分割，每个段落作为一行。使用`bigscience/bloom`分词器进行分词时，预计有约40亿个词元。此外，还有一个版本是按行而不是段落分割文本。CC-100 zh-Hant（繁体中文）数据集是从https://data.statmt.org/cc-100/中提取的，仅包含繁体中文内容，并按段落分割，每个段落作为一行。使用`bigscience/bloom`分词器进行分词时，预计有约40亿个词元。此外，还有一个版本是按行而不是段落分割文本。

原始信息汇总

数据集概述

基本信息

• 名称: CC-100 zh-Hant (Traditional Chinese)
• 内容格式: 数据集中的文本被分割成段落，每个段落作为一行。

数据结构

• 特征:
  • 名称: content
  • 数据类型: string

数据分割

• 训练集:
  • 名称: train
  • 示例数量: 12328228
  • 字节数: 17882150544

数据大小

• 下载大小: 12940914691 字节
• 数据集大小: 17882150544 字节

其他信息

• 估计令牌数: 约40亿，使用bigscience/bloom分词器进行分词。
• 其他版本: 存在一个文本按行分割的版本，名为zetavg/CC-100-zh-Hant。