yuhuanstudio/c4_pretrain_zhtw
收藏Hugging Face2025-04-01 更新2025-02-15 收录
下载链接：
https://hf-mirror.com/datasets/yuhuanstudio/c4_pretrain_zhtw
下载链接
链接失效反馈官方服务：
资源简介：
这是一个基于C4原始数据构建的繁体中文数据集，经过清理非中文内容、重复文本和HTML标签，使用pangu格式化中文语句间隔，并整理为适合大型语言模型预训练的JSON格式数据。
This dataset is constructed based on the original C4 data, cleaned to remove non-Chinese content, duplicate texts, and unnecessary HTML tags, formatted Chinese sentences with pangu spacing, and organized into JSON format suitable for large language model pre-training.
提供机构：
yuhuanstudio
