HuggingFaceFW/fineweb-edu-llama3-annotations

该数据集包含用于训练FineWeb-Edu教育质量分类器的注释。数据集的特征包括文本、元数据（如日期、文件路径、语言、语言评分、token计数、URL）、提示和评分。数据集的分割为训练集，包含467,424个样本，总大小为3,616,233,906.36字节。数据集通过Llama-3-70B-Instruct模型对FineWeb网页的教育价值进行评分，但不包含完整的Llama 3生成内容。

This dataset contains annotations used for training the FineWeb-Edu educational quality classifier. Its features include text, metadata (such as date, file path, language, language score, token count, URL), prompts, and scores. The dataset is split into a training set containing 467,424 samples with a total size of 3,616,233,906.36 bytes. The educational value of FineWeb webpages was scored using the Llama-3-70B-Instruct model, and complete Llama 3 generated content is not included in this dataset.

原始信息汇总

数据集概述

语言

• 英文（en）

许可证

• ODC-BY

数据集信息

• 特征

  • text: 类型为字符串（string）
  • metadata: 结构化数据
    • date: 类型为64位整数（int64）
    • dump: 类型为字符串（string）
    • file_path: 类型为字符串（string）
    • language: 类型为字符串（string）
    • language_score: 类型为64位浮点数（float64）
    • token_count: 类型为64位整数（int64）
    • url: 类型为字符串（string）
  • prompt: 类型为字符串（string）
  • score: 类型为64位整数（int64）

• 分割

  • train:
    • 字节数: 3616233906.3618937
    • 样本数: 467424

• 下载大小

  • 1590654012字节

• 数据集大小

  • 3616233906.3618937字节

配置

• 默认配置
  • 数据文件:
    • 分割: train
    • 路径: data/train-*

搜集汇总

数据集介绍

构建方式

在教育资源智能化评估的背景下，HuggingFaceFW/fineweb-edu-llama3-annotations数据集应运而生。该数据集专为训练FineWeb-Edu教育质量分类器而构建，其核心在于利用先进的Llama-3-70B-Instruct大语言模型对网络页面进行教育价值评分。具体构建流程为：首先从FineWeb数据集中提取文本样本，随后截取每个样本的前1000个字符形成提示，再将这些提示输入至Llama-3-70B-Instruct模型，由模型输出相应的教育质量评分。最终，数据集收录了这些文本样本、对应的提示以及评分结果，为分类器的训练提供了高质量的标注基础。

特点

该数据集展现出鲜明的结构化与定量化特征。在内容层面，每条数据包含完整的文本字段、详细的元数据（涵盖日期、来源、语言、词数等）、用于模型推理的提示文本以及整数型教育质量评分。元数据的丰富性使得研究者能够从多维度分析数据来源与质量。在规模上，训练集包含467,424个样本，总数据量达3.6GB，兼顾了数据多样性与训练效率。值得注意的是，数据集仅保留评分结果而未包含Llama 3的完整生成内容，这种设计在确保核心信息完整的同时，有效控制了存储开销。

使用方法

该数据集的使用流程清晰便捷。研究者可通过HuggingFace Datasets库直接加载数据，指定配置名称为default，并选择train分片进行访问。在应用层面，数据集最直接的用途是作为监督学习数据，训练教育质量分类模型：以文本字段作为输入特征，以评分字段作为标签。同时，丰富的元数据字段支持研究者开展数据过滤、质量分析或跨维度特征工程。由于数据采用ODC-BY许可协议，用户可在遵守署名要求的前提下自由使用、修改和分发数据，这为学术研究与工业应用提供了灵活的法律保障。

背景与挑战

背景概述

在自然语言处理与大规模语言模型迅猛发展的当下，高质量、教育性的训练数据成为提升模型能力的关键基石。由Hugging Face团队主导创建的HuggingFaceFW/fineweb-edu-llama3-annotations数据集，诞生于2024年，旨在为FineWeb-Edu教育质量分类器提供精准的标注支撑。该数据集的核心研究问题聚焦于如何利用先进的大语言模型（如Llama-3-70B-Instruct）对海量网页内容进行教育价值评估，从而筛选出具有学习意义的文本。通过构建这一标注集合，研究者得以训练出能够自动判别文本教育质量的分类器，显著推动了教育领域数据筛选与模型预训练技术的进步，对后续高效、安全的大语言模型开发产生了深远影响。

当前挑战

该数据集所面临的挑战首先体现在领域问题的复杂性上：如何准确定义并量化网页文本的“教育价值”是一个主观且多维度的问题，不同学科、不同受众对教育内容的认知差异巨大，导致分类边界模糊。其次，在构建过程中，依赖Llama-3-70B-Instruct模型生成评分，虽能利用其强大的语义理解能力，但模型本身的偏见、不稳定性以及高昂的计算成本成为显著障碍。此外，数据集仅包含文本样本与评分，未提供完整的模型生成过程，使得后续研究者难以复现或分析评分逻辑，限制了数据集的透明性与可解释性。这些挑战共同构成了提升教育质量分类器性能与可靠性的关键瓶颈。

常用场景

经典使用场景

在自然语言处理与大规模语言模型预训练的交叉领域中，数据质量直接决定模型能力的天花板。HuggingFaceFW/fineweb-edu-llama3-annotations 数据集的核心经典用途在于为教育质量分类器提供训练标注，该分类器能够从海量网页文本中精准筛选出具有教育价值的高质量内容。研究者利用Llama-3-70B-Instruct模型对FineWeb数据集中的文本样本进行教育价值评分，从而构建出一个可复现、可扩展的标注体系。这一过程不仅为FineWeb-Edu数据集的诞生奠定了基石，更开创了以强语言模型作为弱监督信号来净化大规模网络文本的范式，使得预训练语料的精炼化操作变得有据可依。

实际应用

在实际工业与学术场景中，该数据集衍生的分类器已被广泛应用于大规模语言模型的预训练数据过滤流水线。例如，在构建FineWeb-Edu这样的教育类语料库时，研究者可直接加载该标注数据训练出的分类器，对每日新增的数十亿网页进行实时评分与筛选，从而为下游模型提供源源不断的优质训练素材。此外，该数据集还可用于教育搜索引擎的内容排序、智能辅导系统的知识源甄别，以及在线学习平台中教材资源的自动分级。其轻量化的评分机制使得部署成本极低，能够无缝融入现有的数据处理框架，成为保障大模型知识准确性与教育友好性的关键基础设施。

衍生相关工作

围绕该标注数据，已衍生出多项具有影响力的经典工作。最直接的是FineWeb-Edu数据集本身，它利用此标注对FineWeb进行过滤，构建了迄今为止规模最大、质量最高的教育类英文预训练语料之一。此外，研究者还基于此标注训练了公开可用的教育质量分类器（fineweb-edu-classifier），该分类器已成为社区中评估网页教育价值的基准工具。后续工作进一步探索了将此类弱监督标注方法迁移至多语言场景，以及结合课程学习策略动态调整过滤阈值。这些衍生工作共同构成了一条从标注生成、语料构建到模型评估的完整研究链条，深刻影响了高质量数据驱动的语言模型发展路径。