ChineseWebText2.0-HighQuality
收藏资源简介：
ChineseWebText2.0-HighQuality 是一个高质量的中文文本数据集，源自 CASIA-LM/ChineseWebText2.0（Apache-2.0 许可）。该数据集通过严格筛选，仅保留质量分数（quality_score）≥ 0.9 且毒性分数（toxicity.score）≤ 0.01 的样本，以确保数据的高质量和安全性。数据集经过轻度清理，移除非标准字符，但保留了原始元数据模式（包括域标签、毒性评分和质量评分）。该数据集适用于语言模型的预训练、指令微调以及对质量敏感的下游任务。数据集保留了原始数据的元数据结构，包括文本内容、域标签（单标签和多标签）、毒性评分（标签和分数）以及质量评分。推荐用于解码器或编码器-解码器语言模型的预训练、质量敏感的混合构建、安全敏感的数据蒸馏以及基于域标签的特定领域过滤。不推荐用于需要完整 ChineseWebText2.0 语料库分布的研究或需要毒性/低质量尾部数据进行鲁棒性评估的研究。数据集采用 Apache-2.0 许可分发，与源数据集相同。
ChineseWebText2.0-HighQuality is a high-quality Chinese text dataset derived from CASIA-LM/ChineseWebText2.0, which is licensed under Apache-2.0. This dataset undergoes strict filtering, only retaining samples with a quality_score ≥ 0.9 and a toxicity.score ≤ 0.01, to ensure high data quality and security. The dataset has been lightly cleaned to remove non-standard characters, while preserving the original metadata schema including domain labels, toxicity scores, and quality scores. This dataset is applicable to language model pre-training, instruction fine-tuning, and quality-sensitive downstream tasks. It retains the original metadata structure of the source data, including text content, domain labels (both single-label and multi-label), toxicity annotations (labels and scores), and quality scores. It is recommended for pre-training of decoder-only or encoder-decoder language models, quality-sensitive corpus mixing, security-aware data distillation, and domain-specific filtering based on domain labels. This dataset is not recommended for studies requiring the full distribution of the ChineseWebText2.0 corpus, or studies that need toxic/low-quality tail data for robustness evaluation. The dataset is distributed under the Apache-2.0 license, consistent with the source dataset.
ChineseWebText2.0-HighQuality 数据集概述
基本信息
- 数据集名称: ChineseWebText2.0-HighQuality
- 维护者: Morton Li
- 许可证: Apache License 2.0
- 语言: 中文 (zh)
- 任务类别: 文本生成 (text-generation)
数据来源与性质
- 本数据集是 CASIA-LM/ChineseWebText2.0 数据集的一个高质量过滤子集。
- 该工作独立进行，与官方 CASIA-LM / ChineseWebText 维护者无关。
数据内容与结构
- 数据文件: 仅包含训练集 (train)，路径为
data/*/*。 - 特征字段:
text(dtype: string): 文本内容。domain(struct): 领域标签。single_label(dtype: string): 单标签。multi_label(sequence: string): 多标签序列。
toxicity(struct): 毒性评分。label(dtype: int32): 毒性标签。score(dtype: float64): 毒性分数。
quality_score(dtype: float64): 质量分数。
构建方法
过滤规则
仅保留满足以下条件的样本：
quality_score≥ 0.9toxicity.score≤ 0.01
处理说明
- 对文本进行了轻度清洗，过滤了非标准字符。
- 仅移除了不符合阈值的样本。
- 未进行重写、去重或翻译。
- 保留了原始的元数据模式。
关键特点
- 源自 ChineseWebText2.0 (Apache-2.0 License)。
- 使用
quality_score ≥ 0.9进行质量过滤。 - 使用
toxicity.score ≤ 0.01进行安全过滤。 - 保留了原始的元数据模式。
- 适用于大语言模型预训练和混合数据构建。
使用建议
推荐用途
- 解码器或编码器-解码器语言模型的预训练。
- 对质量敏感的数据混合构建。
- 对安全敏感的数据蒸馏。
- 基于保留的领域标签进行特定领域过滤。
不推荐用途
- 需要完整 ChineseWebText2.0 语料库原始分布的研究。
- 明确需要有毒/低质量尾部数据进行鲁棒性评估的研究。
引用信息
若使用本数据集，请引用：
@misc{chinesewebtext2_highquality, title = {ChineseWebText2.0-HighQuality: A High-Quality Subset of ChineseWebText2.0}, author = {Morton Li}, year = {2026}, note = {Derived from CASIA-LM/ChineseWebText2.0 (Apache-2.0 License)} }
致谢
感谢 ChineseWebText2.0 (CASIA-LM) 的创建者。
