liswei/c4-zhtw

C4-zhtw数据集是C4数据集的繁体中文子集，经过MinHash去重处理。数据集包含文本、时间戳、URL和zh_id等特征，主要用于文本生成和填充掩码任务。建议在使用前通过NLU模型进行过滤。

原始信息汇总

数据集概述

数据集名称

• 名称: C4-zhtw

数据集特征

• 特征列表:
  • text: 数据类型为 string
  • timestamp: 数据类型为 string
  • url: 数据类型为 string
  • zh_id: 数据类型为 int64

数据集分割

• 训练集:
  • 示例数量: 4856777
  • 数据大小: 8494000105 字节

数据集大小

• 下载大小: 5360940712 字节
• 数据集总大小: 8494000105 字节

语言

• 支持语言:
  • 繁体中文 (zht)
  • 简体中文 (zh)

任务类别

• 任务类型:
  • 文本生成
  • 填充掩码

数据集类别

• 大小类别: 100M<n<1B