zetavg/CC-100-zh-Hant-merged
收藏Hugging Face2023-05-06 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/zetavg/CC-100-zh-Hant-merged
下载链接
链接失效反馈官方服务：
资源简介：
CC-100 zh-Hant（繁体中文）数据集是从https://data.statmt.org/cc-100/中提取的，仅包含繁体中文内容，并按段落分割，每个段落作为一行。使用`bigscience/bloom`分词器进行分词时，预计有约40亿个词元。此外，还有一个版本是按行而不是段落分割文本。
CC-100 zh-Hant（繁体中文）数据集是从https://data.statmt.org/cc-100/中提取的，仅包含繁体中文内容，并按段落分割，每个段落作为一行。使用`bigscience/bloom`分词器进行分词时，预计有约40亿个词元。此外，还有一个版本是按行而不是段落分割文本。
提供机构：
zetavg
原始信息汇总
数据集概述
基本信息
- 名称: CC-100 zh-Hant (Traditional Chinese)
- 内容格式: 数据集中的文本被分割成段落，每个段落作为一行。
数据结构
- 特征:
- 名称: content
- 数据类型: string
数据分割
- 训练集:
- 名称: train
- 示例数量: 12328228
- 字节数: 17882150544
数据大小
- 下载大小: 12940914691 字节
- 数据集大小: 17882150544 字节
其他信息
- 估计令牌数: 约40亿，使用
bigscience/bloom分词器进行分词。 - 其他版本: 存在一个文本按行分割的版本，名为
zetavg/CC-100-zh-Hant。
