TiWu-Lab/CC-zh

这是一个经过高质量清洗的中文文本数据集，来源于Common Crawl。数据集通过移除包含非中英文字符、数字或大写字母比例过高的文档，以及使用fasttext模型筛选中文文档进行了清洗。所有繁体中文文本都被转换为简体中文。此外，使用Qwen2.5-32B-Instruct模型对文档进行了语言质量标注，并使用XLM-RoBERT-large分类器进一步筛选出质量较高的文档。最终数据集包含623,807,180个样本，总大小为1.1TB。

This is a high-quality cleaned Chinese text dataset sourced from Common Crawl. The dataset has been cleaned by removing documents with high proportions of non-Chinese and non-English characters, digits, or uppercase letters, and by filtering Chinese documents using the fasttext model. All Traditional Chinese text has been converted into Simplified Chinese. Additionally, documents have been annotated for language quality using the Qwen2.5-32B-Instruct model, and further filtered using an XLM-RoBERT-large classifier based on these annotations. The final dataset contains 623,807,180 samples, with a total size of 1.1TB.

搜集汇总

数据集介绍

构建方式

在网络文本数据领域，Common Crawl作为海量互联网语料的重要来源，其原始数据常因噪声过多而难以直接用于高质量语言模型训练。为此，TiWu-Lab/CC-zh数据集通过一套严谨的多阶段清洗流程构建而成。首先，基于字符组成比例进行过滤，剔除中文与英文以外字符占比超过2%的文档，同时移除数字或大写字母占比超过30%的内容。随后，借助fasttext语言识别工具排除非中文文档，并将所有繁体中文统一转换为简体中文。接着，利用统计特征如平均行长度、特殊字符比例等启发式规则，去除质量低下的样板文本与广告内容。最后实施精确去重操作。在此基础上，使用Qwen2.5-32B-Instruct模型对约930万中文文档进行语言质量评分（1-5分），并从中挑选39.8万份文档以平衡标签分布，训练XLM-RoBERT-large回归分类器，仅保留得分不低于4的高质量文档。

特点

该数据集的核心特点在于其卓越的质量控制与规模平衡。经过层层筛选，最终包含约6.24亿个样本，总规模达1.1TB，存储为2120个Parquet文件，便于高效加载。在质量标注环节，研究团队对比了Qwen2.5-32B与72B模型的评分分布，两者评分相关系数高达0.75，且人工检查均表现满意，最终选择32B模型以兼顾效率与更均衡的标签分布。这一设计确保了数据集在语言流畅性、信息密度和主题多样性上均达到高标准，尤其适合用于预训练或微调中文大语言模型，避免了低质量噪声对模型性能的负面影响。

使用方法

使用TiWu-Lab/CC-zh数据集时，研究人员可直接从Hugging Face平台通过数据集库加载，例如利用`datasets.load_dataset`函数读取Parquet文件。该数据集以简体中文为主，适用于多种自然语言处理任务，如语言模型预训练、文本生成、语义理解等。建议在使用前按需划分训练集与验证集，或根据具体任务进行进一步子集采样。由于数据已通过严格质量筛选，用户无需额外进行大量清洗工作，可直接用于模型训练。此外，其基于ODC-BY许可协议发布，允许自由使用与分享，但需保留原始归属信息，为学术与工业应用提供了便利。

背景与挑战

背景概述

在大规模语言模型训练中，高质量中文语料的匮乏长期制约着模型对中华文化的理解能力与生成文本的准确性。为应对这一瓶颈，TiWu-Lab团队于2024年发布了CC-zh数据集，该数据集从Common Crawl海量网页中通过多阶段精细清洗流程提取高质量中文文本，其核心研究问题在于如何从噪声充斥的开放网络数据中系统性地筛选出语言纯净、语义连贯的中文语料。该数据集规模达6.23亿文档、1.1TB存储量，采用基于Qwen2.5-32B模型的语言质量标注与XLM-RoBERTa分类器进行自动过滤，开创性地将大模型判别能力融入数据清洗流水线，为中文自然语言处理领域提供了可靠的预训练数据基座。

当前挑战

CC-zh数据集在构建与应用中面临多重挑战。领域层面，中文网络文本存在繁体与简体混杂、中英文符号交错、广告与模板文本泛滥等特性，传统基于规则的过滤方法难以精准识别低质量文档，例如仅依赖字符比例阈值可能误删包含专业术语的优质内容。构建层面，采用Qwen2.5-32B模型对9.3M中文文档进行1-5分语言质量标注时，小模型（32B）与大型模型（72B）的标注分布存在显著偏差——32B模型将22.9%的文档判为3分而72B仅判为4.7%，尽管人工评估两者均可接受，但标注不一致性增加了训练分类器时的标注噪声。此外，对398K样本的平衡采样策略虽缓解了标签分布倾斜，却可能引入代表性偏差，使得分类器对稀有质量等级的文档识别能力受限。

常用场景

经典使用场景

在自然语言处理领域，高质量中文语料的匮乏长期制约着预训练语言模型的发展。CC-zh数据集从海量Common Crawl网页中精心筛选出约6.24亿篇中文文档，经过字符比例过滤、语言识别、繁体转简体、启发式去噪及精确去重等多重清洗流程，并借助Qwen2.5-32B-Instruct模型进行语言质量评分，最终保留评分4分以上的优质文本。该数据集最经典的使用场景是作为大规模中文预训练语料，支持BERT、GPT等架构的模型从零开始训练或继续预训练，为模型理解中文语法、语义及文化背景提供海量、纯净的文本基础。

实际应用

在实际产业应用中，CC-zh数据集能够直接赋能中文智能客服、机器翻译、文本摘要、情感分析等商业系统的底层语言模型训练。例如，中文搜索引擎可借此优化查询理解与文档排序，社交媒体平台可提升内容审核与文本生成的准确性，教育科技公司则能构建更贴合中文表达习惯的自动批改与写作辅助工具。此外，由于数据集经过严格的去广告与去模板化处理，其在金融、法律、医疗等垂直领域的微调应用中也能有效减少领域外噪声干扰，加速模型从通用能力向专业场景的迁移。

衍生相关工作

CC-zh数据集的发布催生了多项具有影响力的衍生工作。研究者基于其清洗流水线，开发了针对不同语言或领域的高质量语料构建工具，如将类似方法应用于学术论文、新闻或古籍文本的自动化过滤。同时，该数据集被广泛用于训练和评测新一代中文大语言模型，包括Qwen、Baichuan等系列的部分版本，其质量标注策略也启发了后续关于数据筛选与模型性能关系的系统性研究。此外，基于该数据的细粒度语言质量标注子集，衍生出针对中文文本可读性评估、噪声鲁棒性分析等专项任务，进一步拓展了高质量语料的应用边界。