kenhktsui/cosmopedia_quality_score_v2

Name: kenhktsui/cosmopedia_quality_score_v2
Creator: kenhktsui
Published: 2024-05-26 08:18:23
License: 暂无描述

Hugging Face2024-05-26 更新2024-06-12 收录

下载链接：

https://hf-mirror.com/datasets/kenhktsui/cosmopedia_quality_score_v2

下载链接

链接失效反馈

官方服务：

资源简介：

--- dataset_info: - config_name: auto_math_text features: - name: prompt dtype: string - name: text_token_length dtype: int64 - name: text dtype: string - name: seed_data dtype: string - name: format dtype: string - name: audience dtype: string - name: quality_score_v2 dtype: float64 splits: - name: train num_bytes: 8779811653 num_examples: 1949895 download_size: 4458739426 dataset_size: 8779811653 - config_name: khanacademy features: - name: prompt dtype: string - name: text_token_length dtype: int64 - name: text dtype: string - name: seed_data dtype: string - name: format dtype: string - name: audience dtype: string - name: quality_score_v2 dtype: float64 splits: - name: train num_bytes: 122159143 num_examples: 24123 download_size: 48951116 dataset_size: 122159143 - config_name: openstax features: - name: text_token_length dtype: int64 - name: prompt dtype: string - name: text dtype: string - name: seed_data dtype: string - name: format dtype: string - name: audience dtype: string - name: quality_score_v2 dtype: float64 splits: - name: train num_bytes: 668848106 num_examples: 126332 download_size: 348252139 dataset_size: 668848106 - config_name: stanford features: - name: text_token_length dtype: int64 - name: prompt dtype: string - name: text dtype: string - name: seed_data dtype: string - name: format dtype: string - name: audience dtype: string - name: quality_score_v2 dtype: float64 splits: - name: train num_bytes: 6349451698 num_examples: 1020024 download_size: 3309575750 dataset_size: 6349451698 - config_name: stories features: - name: text dtype: string - name: prompt dtype: string - name: text_token_length dtype: int64 - name: seed_data dtype: string - name: format dtype: string - name: audience dtype: string - name: quality_score_v2 dtype: float64 splits: - name: train num_bytes: 21354683360 num_examples: 4992964 download_size: 11894225941 dataset_size: 21354683360 - config_name: web_samples_v1 features: - name: text_token_length dtype: int64 - name: prompt dtype: string - name: text dtype: string - name: seed_data dtype: string - name: format dtype: string - name: audience dtype: string - name: quality_score_v2 dtype: float64 splits: - name: train num_bytes: 69175137079 num_examples: 12426348 download_size: 39069495077 dataset_size: 69175137079 - config_name: web_samples_v2 features: - name: text_token_length dtype: int64 - name: prompt dtype: string - name: text dtype: string - name: seed_data dtype: string - name: format dtype: string - name: audience dtype: string - name: quality_score_v2 dtype: float64 splits: - name: train num_bytes: 58794569875 num_examples: 10345867 download_size: 32737483363 dataset_size: 58794569875 - config_name: wikihow features: - name: text_token_length dtype: int64 - name: prompt dtype: string - name: text dtype: string - name: seed_data dtype: string - name: format dtype: string - name: audience dtype: string - name: quality_score_v2 dtype: float64 splits: - name: train num_bytes: 894154056 num_examples: 179191 download_size: 503349411 dataset_size: 894154056 configs: - config_name: auto_math_text data_files: - split: train path: auto_math_text/train-* - config_name: khanacademy data_files: - split: train path: khanacademy/train-* - config_name: openstax data_files: - split: train path: openstax/train-* - config_name: stanford data_files: - split: train path: stanford/train-* - config_name: stories data_files: - split: train path: stories/train-* - config_name: web_samples_v1 data_files: - split: train path: web_samples_v1/train-* - config_name: web_samples_v2 data_files: - split: train path: web_samples_v2/train-* - config_name: wikihow data_files: - split: train path: wikihow/train-* --- Adding [quality score v2](https://huggingface.co/kenhktsui/llm-data-textbook-quality-fasttext-classifier-v2) to [HuggingFaceTB/cosmopedia](https://huggingface.co/datasets/HuggingFaceTB/cosmopedia)

数据集信息： - 配置名称：auto_math_text 特征字段： - 字段名：提示词（prompt），数据类型：字符串型 - 字段名：文本Token长度（text_token_length），数据类型：64位整数型 - 字段名：文本（text），数据类型：字符串型 - 字段名：种子数据（seed_data），数据类型：字符串型 - 字段名：格式（format），数据类型：字符串型 - 字段名：目标受众（audience），数据类型：字符串型 - 字段名：质量评分v2（quality_score_v2），数据类型：64位浮点型数据集划分： - 划分名称：train（训练集），字节占用量：8779811653，样本数量：1949895 下载大小：4458739426，数据集总大小：8779811653 - 配置名称：khanacademy 特征字段： - 字段名：提示词（prompt），数据类型：字符串型 - 字段名：文本Token长度（text_token_length），数据类型：64位整数型 - 字段名：文本（text），数据类型：字符串型 - 字段名：种子数据（seed_data），数据类型：字符串型 - 字段名：格式（format），数据类型：字符串型 - 字段名：目标受众（audience），数据类型：字符串型 - 字段名：质量评分v2（quality_score_v2），数据类型：64位浮点型数据集划分： - 划分名称：train（训练集），字节占用量：122159143，样本数量：24123 下载大小：48951116，数据集总大小：122159143 - 配置名称：openstax 特征字段： - 字段名：文本Token长度（text_token_length），数据类型：64位整数型 - 字段名：提示词（prompt），数据类型：字符串型 - 字段名：文本（text），数据类型：字符串型 - 字段名：种子数据（seed_data），数据类型：字符串型 - 字段名：格式（format），数据类型：字符串型 - 字段名：目标受众（audience），数据类型：字符串型 - 字段名：质量评分v2（quality_score_v2），数据类型：64位浮点型数据集划分： - 划分名称：train（训练集），字节占用量：668848106，样本数量：126332 下载大小：348252139，数据集总大小：668848106 - 配置名称：stanford 特征字段： - 字段名：文本Token长度（text_token_length），数据类型：64位整数型 - 字段名：提示词（prompt），数据类型：字符串型 - 字段名：文本（text），数据类型：字符串型 - 字段名：种子数据（seed_data），数据类型：字符串型 - 字段名：格式（format），数据类型：字符串型 - 字段名：目标受众（audience），数据类型：字符串型 - 字段名：质量评分v2（quality_score_v2），数据类型：64位浮点型数据集划分： - 划分名称：train（训练集），字节占用量：6349451698，样本数量：1020024 下载大小：3309575750，数据集总大小：6349451698 - 配置名称：stories 特征字段： - 字段名：文本（text），数据类型：字符串型 - 字段名：提示词（prompt），数据类型：字符串型 - 字段名：文本Token长度（text_token_length），数据类型：64位整数型 - 字段名：种子数据（seed_data），数据类型：字符串型 - 字段名：格式（format），数据类型：字符串型 - 字段名：目标受众（audience），数据类型：字符串型 - 字段名：质量评分v2（quality_score_v2），数据类型：64位浮点型数据集划分： - 划分名称：train（训练集），字节占用量：21354683360，样本数量：4992964 下载大小：11894225941，数据集总大小：21354683360 - 配置名称：web_samples_v1 特征字段： - 字段名：文本Token长度（text_token_length），数据类型：64位整数型 - 字段名：提示词（prompt），数据类型：字符串型 - 字段名：文本（text），数据类型：字符串型 - 字段名：种子数据（seed_data），数据类型：字符串型 - 字段名：格式（format），数据类型：字符串型 - 字段名：目标受众（audience），数据类型：字符串型 - 字段名：质量评分v2（quality_score_v2），数据类型：64位浮点型数据集划分： - 划分名称：train（训练集），字节占用量：69175137079，样本数量：12426348 下载大小：39069495077，数据集总大小：69175137079 - 配置名称：web_samples_v2 特征字段： - 字段名：文本Token长度（text_token_length），数据类型：64位整数型 - 字段名：提示词（prompt），数据类型：字符串型 - 字段名：文本（text），数据类型：字符串型 - 字段名：种子数据（seed_data），数据类型：字符串型 - 字段名：格式（format），数据类型：字符串型 - 字段名：目标受众（audience），数据类型：字符串型 - 字段名：质量评分v2（quality_score_v2），数据类型：64位浮点型数据集划分： - 划分名称：train（训练集），字节占用量：58794569875，样本数量：10345867 下载大小：32737483363，数据集总大小：58794569875 - 配置名称：wikihow 特征字段： - 字段名：文本Token长度（text_token_length），数据类型：64位整数型 - 字段名：提示词（prompt），数据类型：字符串型 - 字段名：文本（text），数据类型：字符串型 - 字段名：种子数据（seed_data），数据类型：字符串型 - 字段名：格式（format），数据类型：字符串型 - 字段名：目标受众（audience），数据类型：字符串型 - 字段名：质量评分v2（quality_score_v2），数据类型：64位浮点型数据集划分： - 划分名称：train（训练集），字节占用量：894154056，样本数量：179191 下载大小：503349411，数据集总大小：894154056 配置项： - 配置名称：auto_math_text，数据文件： - 数据集划分：train（训练集），文件路径：auto_math_text/train-* - 配置名称：khanacademy，数据文件： - 数据集划分：train（训练集），文件路径：khanacademy/train-* - 配置名称：openstax，数据文件： - 数据集划分：train（训练集），文件路径：openstax/train-* - 配置名称：stanford，数据文件： - 数据集划分：train（训练集），文件路径：stanford/train-* - 配置名称：stories，数据文件： - 数据集划分：train（训练集），文件路径：stories/train-* - 配置名称：web_samples_v1，数据文件： - 数据集划分：train（训练集），文件路径：web_samples_v1/train-* - 配置名称：web_samples_v2，数据文件： - 数据集划分：train（训练集），文件路径：web_samples_v2/train-* - 配置名称：wikihow，数据文件： - 数据集划分：train（训练集），文件路径：wikihow/train-* 已为数据集[HuggingFaceTB/cosmopedia](https://huggingface.co/datasets/HuggingFaceTB/cosmopedia)添加质量评分v2，对应的分类模型链接为：https://huggingface.co/kenhktsui/llm-data-textbook-quality-fasttext-classifier-v2

提供机构：

kenhktsui

原始信息汇总

数据集概述

1. auto_math_text

特征:
- prompt: 字符串
- text_token_length: 整数
- text: 字符串
- seed_data: 字符串
- format: 字符串
- audience: 字符串
- quality_score_v2: 浮点数
分割:
- train: 1949895个样本，大小8779811653字节
下载大小: 4458739426字节
数据集大小: 8779811653字节

2. khanacademy

特征:
- prompt: 字符串
- text_token_length: 整数
- text: 字符串
- seed_data: 字符串
- format: 字符串
- audience: 字符串
- quality_score_v2: 浮点数
分割:
- train: 24123个样本，大小122159143字节
下载大小: 48951116字节
数据集大小: 122159143字节

3. openstax

特征:
- text_token_length: 整数
- prompt: 字符串
- text: 字符串
- seed_data: 字符串
- format: 字符串
- audience: 字符串
- quality_score_v2: 浮点数
分割:
- train: 126332个样本，大小668848106字节
下载大小: 348252139字节
数据集大小: 668848106字节

4. stanford

特征:
- text_token_length: 整数
- prompt: 字符串
- text: 字符串
- seed_data: 字符串
- format: 字符串
- audience: 字符串
- quality_score_v2: 浮点数
分割:
- train: 1020024个样本，大小6349451698字节
下载大小: 3309575750字节
数据集大小: 6349451698字节

5. stories

特征:
- text: 字符串
- prompt: 字符串
- text_token_length: 整数
- seed_data: 字符串
- format: 字符串
- audience: 字符串
- quality_score_v2: 浮点数
分割:
- train: 4992964个样本，大小21354683360字节
下载大小: 11894225941字节
数据集大小: 21354683360字节

6. web_samples_v1

特征:
- text_token_length: 整数
- prompt: 字符串
- text: 字符串
- seed_data: 字符串
- format: 字符串
- audience: 字符串
- quality_score_v2: 浮点数
分割:
- train: 12426348个样本，大小69175137079字节
下载大小: 39069495077字节
数据集大小: 69175137079字节

7. web_samples_v2

特征:
- text_token_length: 整数
- prompt: 字符串
- text: 字符串
- seed_data: 字符串
- format: 字符串
- audience: 字符串
- quality_score_v2: 浮点数
分割:
- train: 10345867个样本，大小58794569875字节
下载大小: 32737483363字节
数据集大小: 58794569875字节

8. wikihow

特征:
- text_token_length: 整数
- prompt: 字符串
- text: 字符串
- seed_data: 字符串
- format: 字符串
- audience: 字符串
- quality_score_v2: 浮点数
分割:
- train: 179191个样本，大小894154056字节
下载大小: 503349411字节
数据集大小: 894154056字节

搜集汇总

数据集介绍

构建方式

kenhktsui/cosmopedia_quality_score_v2数据集是在HuggingFaceTB/cosmopedia基础上构建的增强版本，通过引入质量评分机制对原始数据进行深度加工。该数据集整合了来自auto_math_text、khanacademy、openstax、stanford、stories、web_samples_v1、web_samples_v2和wikihow八个子数据集的文本内容，每个子数据集均保留prompt、text、text_token_length、seed_data、format、audience等原始字段，并新增quality_score_v2浮点型评分字段。质量评分采用专门的fasttext分类器模型（kenhktsui/llm-data-textbook-quality-fasttext-classifier-v2）对文本进行自动化评估，从而为每条数据赋予反映其教育价值和内容质量的量化指标。

特点

该数据集的核心特色在于其多维度的质量标注机制与丰富的数据来源。quality_score_v2字段为每个文本实例提供了连续的质量评分，使得研究者能够根据分数阈值灵活筛选高质量内容。数据集涵盖数学、科学、人文、编程故事、网络样本和操作指南等多种领域，文本长度从短篇到长篇不等，token长度字段便于按需过滤。各子数据集规模差异显著，从2.4万条的可汗学院样本到1240万条的web_samples_v1，总量超过4600万条，为训练和评估语言模型提供了海量、多样且经过质量分级的语料库。

使用方法

使用该数据集时，可通过HuggingFace Datasets库加载指定子集，例如使用load_dataset('kenhktsui/cosmopedia_quality_score_v2', 'auto_math_text')获取数学文本子集。每个子集仅包含train划分，可直接用于模型训练。研究者可利用quality_score_v2字段进行阈值筛选，例如选择评分高于0.8的样本以获取高质量数据。text字段可用于语言模型预训练或微调，prompt字段适用于指令微调场景，而audience和format字段则支持按目标受众和内容格式进行子集划分，实现定制化的数据选择策略。

背景与挑战

背景概述

在大规模语言模型预训练数据集的构建中，数据质量直接决定模型的性能与泛化能力。针对开源数据集HuggingFaceTB/cosmopedia，kenhktsui团队于近期引入了一套基于fastText分类器的质量评分体系v2，旨在对其中涵盖自动数学文本、可汗学院、OpenStax、斯坦福教材、故事文本、网络样本及维基百科式指南等多源异构语料进行精细化质量标注。该数据集由研究者kenhktsui主导，核心研究问题聚焦于如何通过自动化评分机制区分高价值教科书级内容与低质量噪声，从而提升预训练数据筛选的可靠性。这一工作对数据驱动的大模型训练范式具有显著影响，为后续数据蒸馏与课程学习提供了可量化的质量基准。

当前挑战

当前数据集面临的核心挑战包括：其一，跨领域文本质量的异质性难以统一度量，例如技术数学文本与叙事性故事在语义密度、逻辑严谨性上的差异导致评分模型可能产生偏见；其二，构建过程中，质量评分v2依赖于fastText分类器在合成数据上的训练，而合成数据本身的分布偏差可能引入系统性误判，例如将非标准格式但知识密集的语料错误降权；其三，数据集规模庞大（如web_samples_v1包含超1200万样本），在保证评分一致性的前提下实现高效推理与存储优化构成工程难题；其四，缺乏人工验证基准，评分结果的可解释性与下游任务（如模型困惑度）的关联性仍需实证检验。

常用场景

经典使用场景

在自然语言处理与大规模语言模型预训练的研究领域中，数据质量直接决定模型能力的上限。kenhktsui/cosmopedia_quality_score_v2 数据集的核心价值在于为经典的“教科书级别”语料——如来自可汗学院、OpenStax、斯坦福课程及自动数学文本等高质量教育资源——赋予精细化的质量评分。研究者可依据该评分对海量文本进行筛选与排序，构建出纯净、高信息密度的训练语料库，从而提升模型在数学推理、科学阐述与结构化知识理解等复杂任务上的表现。该数据集尤为适用于构建具备深厚知识底蕴与严谨逻辑的通用智能模型。

衍生相关工作

该数据集的推出催生了一系列围绕“数据质量驱动的语言模型训练”的前沿探索。其中，基于质量评分进行课程学习（Curriculum Learning）策略优化的研究尤为突出，学者们通过动态调整训练样本的引入顺序，显著加速了模型的收敛并提升了最终精度。此外，围绕该评分体系，衍生出针对特定领域（如医学文献、法律条文）的领域自适应质量评估模型，以及融合多维度质量指标（如事实一致性、逻辑连贯性）的复合筛选框架，进一步拓宽了高质量语料自动构建的技术边界。

数据集最近研究