finepdfs_edu_100BT-shuffled

该数据集包含17,781,952个训练样本，总大小为456,684,247,470字节。数据集包含多个特征字段，包括文本内容(text)、唯一标识符(id)、来源URL(url)、日期(date)、文件路径(file_path)等基础信息。特别值得注意的是，数据集包含丰富的语言相关特征：语言标识(language)、页面平均语言识别结果(page_average_lid)及其置信度评分、全文语言识别结果(full_doc_lid)及其评分，以及每页语言列表(per_page_languages)。此外，数据集还包含多个质量评估指标：教育领域分数(fw_edu_scores)、最小哈希聚类大小(minhash_cluster_size)、重复计数(duplicate_count)等。这些特征表明这可能是一个多语言文本数据集，并包含文本质量评估信息。数据集采用分块存储格式，训练数据存储在多个data/train-*文件中。

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，高质量的训练数据对于模型性能至关重要。FinePDFs-Edu 100BT (Shuffled) 数据集源于其原始版本 finepdfs_edu_100BT，通过全局随机化处理构建而成。具体而言，原始数据集被完整加载至内存中，采用确定性随机种子42进行全局文档顺序重排，随后重新分割为100个分片并上传。这一过程借助datatrove库中的smol_data.py脚本实现，确保了数据分布的均匀性与可复现性，为模型预训练提供了结构优化的语料基础。

使用方法

在模型预训练实践中，该数据集可通过Hugging Face的datasets库便捷加载。用户只需指定数据集名称与训练分割，结合流式读取模式，即可高效迭代处理大规模文本样本。典型用法包括加载数据集后遍历文本字段，进行令牌化或嵌入表示生成。由于数据已预先全局随机化，用户无需额外打乱步骤，可直接用于分布式训练或小批量采样，为语言模型提供稳定且多样化的输入序列，支持跨硬件环境的灵活部署。

背景与挑战

背景概述

随着大规模语言模型预训练需求的日益增长，高质量、多样化的文本数据成为推动模型性能提升的关键因素。FinePDFs-Edu 100BT-shuffled数据集由HuggingFaceFW团队于2026年创建，作为Smol-Data系列的一部分，旨在为预训练任务提供经过验证的优质数据混合。该数据集的核心研究问题聚焦于如何通过精心筛选的教育领域PDF文档，构建一个规模约100B令牌、内容丰富的文本语料库，以支持语言模型在知识密集任务上的有效学习。其影响力体现在为研究社区提供了一个标准化、可复现的数据基准，促进了预训练数据工程领域的科学探索。

当前挑战

该数据集致力于解决教育领域文档的语义理解与知识提取挑战，其核心问题在于如何从非结构化的PDF格式中准确解析并整合高质量的学术文本，以增强语言模型对专业知识的掌握能力。在构建过程中，主要挑战包括原始PDF文档的格式异构性导致文本提取的完整性受损，以及确保数据全局随机化时维持语料库的多样性与代表性。此外，处理约100B令牌的大规模数据时，需克服存储、计算效率与数据一致性方面的技术障碍，以实现高效、可靠的预训练数据供给。

常用场景

经典使用场景

在大型语言模型预训练领域，FinePDFs-Edu 100BT-shuffled 数据集以其精心筛选的教育类PDF文档文本，为模型提供了高质量、多样化的语言素材。该数据集经过全局随机打乱处理，确保了文档顺序的无偏性，经典使用场景集中于大规模自监督预训练任务，例如掩码语言建模或因果语言建模，帮助模型从海量教育文本中学习通用语言表示和知识结构。

解决学术问题

该数据集主要解决了预训练数据中存在的顺序偏差和领域覆盖不足的学术研究问题。通过提供全局打乱的教育领域文本，它促进了模型对语言模式的无偏学习，避免了因文档固定排列导致的潜在过拟合。其意义在于为构建更稳健、泛化能力更强的基座模型提供了可靠的数据基础，推动了数据质量对模型性能影响的相关研究。

实际应用

在实际应用中，FinePDFs-Edu 100BT-shuffled 数据集被广泛用于训练各类商用和开源的大型语言模型。基于其高质量的教育文本内容，所训练的模型能够更好地服务于智能教育辅导、学术文献分析与摘要、以及知识问答系统等下游场景，为教育科技和知识服务产业提供了核心的语言理解与生成能力支撑。

数据集最近研究

最新研究方向

在大型语言模型预训练领域，高质量教育文档数据集正成为优化模型知识获取能力的关键资源。FinePDFs-Edu 100BT-shuffled作为Smol-Data系列的重要组成部分，其全局随机化处理为模型训练提供了更均衡的数据分布，有效缓解了顺序偏差对学习效果的影响。当前研究热点聚焦于利用此类经过精心筛选和处理的文档集合，探索数据混合策略对模型泛化性能的促进作用，特别是在多模态学习与领域自适应任务中展现出巨大潜力。该数据集的推出呼应了业界对可重复、标准化训练数据的迫切需求，为构建更稳健、高效的基础模型奠定了坚实的数据基础，推动了开源预训练生态系统的持续演进。