fineweb-filtered

FineWeb Filtered是HuggingFaceFW/fineweb数据集的过滤子集，专门筛选并保留高质量、干净的英文网络文档用于预训练。该数据集不修改原始文本内容，仅执行保留/丢弃的过滤操作。每条数据记录包含完整文档文本（text）、唯一文档标识符（id）、来源URL（url）、Common Crawl批次标识（dump）、爬取日期（date）、检测到的语言代码（language）、语言识别置信度分数（language_score）以及估计的词元数量（token_count）。数据集应用了多层过滤规则，依次检查并丢弃不符合条件的文档：1) 质量过滤：字符数少于200或单词数少于50、语言分数低于0.65、符号比例高于30%、数字比例高于40%；2) 许可证过滤：匹配被阻止的许可证或域名；3) AI生成内容过滤：AI生成概率高于0.85；4) 毒性过滤：毒性分数高于0.5；5) 困惑度过滤：困惑度超出正常范围（若无KenLM模型则使用熵代理）。该数据集适用于大规模语言模型预训练、文本生成研究以及其他需要高质量英文网络语料的自然语言处理任务。数据规模超过1万亿词元，采用ODC-By 1.0许可证。FineWeb Filtered is a filtered subset of the HuggingFaceFW/fineweb dataset, specifically curated to retain high-quality, clean English web documents for pre-training. The dataset does not modify the original text content, only performing keep/discard filtering operations. Each data record includes the following fields: full document text (text), unique document identifier (id), source URL (url), Common Crawl batch identifier (dump), crawl date (date), detected language code (language), language identification confidence score (language_score), and estimated token count (token_count). The dataset applies multiple layers of filtering rules, sequentially checking and discarding documents that do not meet the following criteria: 1) Quality filtering: fewer than 200 characters or 50 words, language score below 0.65, symbol ratio above 30%, digit ratio above 40%; 2) License filtering: matching blocked licenses or domains; 3) AI-generated content filtering: AI generation probability above 0.85; 4) Toxicity filtering: toxicity score above 0.5; 5) Perplexity filtering: perplexity outside normal range (using entropy proxy if KenLM model is unavailable). This dataset is suitable for large-scale language model pre-training, text generation research, and other natural language processing tasks requiring high-quality English web corpora. The data scale exceeds 1 trillion tokens, and it is licensed under ODC-By 1.0.

原始信息汇总

数据集概述

基本信息

• 数据集名称: FineWeb Filtered
• 语言: 英语 (en)
• 许可协议: ODC-By 1.0
• 数据规模: 超过1T tokens
• 任务类别: 文本生成
• 来源数据集: HuggingFaceFW/fineweb

数据集描述

FineWeb Filtered 是 HuggingFaceFW/fineweb 的一个过滤子集，仅保留高质量、干净的英文网络文档。所有文本内容保持原样，不做任何修改，过滤机制仅为保留或丢弃文档。

数据结构

每条记录包含以下字段（继承自 FineWeb）：

字段	描述
text	完整文档文本
id	唯一文档ID
url	来源URL
dump	Common Crawl 爬取批次
date	爬取日期
language	检测到的语言代码
language_score	语言识别置信度分数
token_count	预估 token 数量

过滤规则

文档若未通过以下任意一项检查，则被丢弃（按顺序应用）：

过滤类型	丢弃条件
质量过滤	字符数少于200或单词数少于50；语言得分低于0.65；符号占比超过30%；数字占比超过40%
许可过滤	匹配被阻止的许可证或域名（默认无阻止项）
AI生成内容过滤	AI生成概率超过0.85
有害内容过滤	有害性得分超过0.5
困惑度过滤	困惑度超出正常范围（若未设置KenLM模型，则使用熵代理）

使用方式

通过 Hugging Face Datasets 库加载（支持流式加载），也可直接读取 Parquet 文件。支持在代码中按语言得分进一步筛选。

来源与许可

本数据集基于 HuggingFaceFW/fineweb 构建，继承原数据集的 ODC-By 1.0 许可协议。使用时请引用原始 FineWeb 数据集。

搜集汇总

数据集介绍

构建方式

FineWeb Filtered数据集源自HuggingFaceFW/fineweb，通过严格的过滤流程对原始网络文本进行精炼。过滤过程采用级联式判定机制，依次对文档的质量、许可协议、AI生成概率、毒性分数及困惑度进行检测。任何文档若字符数不足200或词汇量低于50、语言置信度低于0.65、符号或数字比例过高，或匹配到被屏蔽的许可与域名、AI生成概率超过0.85、毒性分数高于0.5、困惑度偏离正常范围，均会被直接剔除。所有筛选均为保留或移除的二元操作，不修改原文内容。

特点

该数据集的核心优势在于其高度纯净的英文网络文档集合，保留了原始文本的完整性而未做任何修改。每条记录均继承自FineWeb的丰富元数据，包括唯一标识符、来源URL、抓取批次、日期、语言代码、语言置信度分数以及预估词元数。数据规模超过1万亿词元，属于超大规模预训练语料库，可为大规模语言模型提供高质量的训练素材。过滤标准围绕质量、合规性与内容安全性展开，有效降低了低质量、机器生成或有害内容的比例。

使用方法

使用该数据集时，可借助HuggingFace Datasets库以流式方式高效加载，通过load_dataset函数直接获取训练集，适用于大规模数据处理场景。用户亦可选择直接读取Parquet格式文件，利用Pandas等工具进行本地化分析。此外，可在加载后根据语言置信度等字段进一步定制筛选，例如过滤出高置信度样本。数据集采用ODC-By 1.0开源许可，使用时需引用原始FineWeb工作以尊重版权与学术规范。

背景与挑战

背景概述

在自然语言处理领域，预训练语言模型的性能高度依赖于训练数据的质量与规模。由Hugging Face团队于2024年发布的FineWeb数据集，作为大规模英文网络语料库的标杆，为语言模型预训练提供了海量原始文本。在此基础上，研究者进一步开发了FineWeb Filtered子集，通过精心设计的过滤管线，从FineWeb中筛选出高质量、清洁的英文文档，旨在消除低质、有害或冗余内容对模型训练带来的负面影响。该数据集的诞生不仅降低了研究人员获取优质语料的门槛，更为文本生成等下游任务提供了更可靠的数据基础，推动了预训练数据筛选策略的标准化进程。

当前挑战

FineWeb Filtered数据集面临多重挑战。首先，其核心研究问题在于如何有效识别并剔除网络文本中的噪声，包括低质量内容（如过短文本、高符号或数字比例）、AI生成文本、毒性内容以及异常困惑度文档，这要求过滤规则在保留有用信息与排除有害数据之间取得精妙平衡。其次，构建过程中需应对大规模数据处理的计算效率问题，在超过1万亿token的原始语料上逐项应用五个过滤条件，对存储和计算资源提出极高要求。此外，过滤规则本身可能存在偏见，例如语言评分阈值可能无意间排除非标准英语变体，而AI生成文本的检测模型也面临准确性与泛化能力的挑战。

常用场景

经典使用场景

在自然语言处理与大规模语言模型预训练领域，高质量的文本数据是模型性能的基石。FineWeb Filtered作为从海量网络文本中精心筛选出的子集，其经典使用场景在于为语言模型的预训练阶段提供干净、可靠且富含语义信息的英文语料。研究人员可通过加载该数据集，直接获取经过多重质量过滤的文档，从而避免原始网络文本中常见的噪声干扰，为构建具备良好泛化能力的语言模型奠定坚实的数据基础。

衍生相关工作

基于FineWeb Filtered数据集，学界与工业界已衍生出多项具有影响力的经典工作。研究者们利用其高质量的文本资源，深入探讨了数据筛选策略对模型下游任务表现的影响，并在此基础上开发出更精细的自动化质量评估工具。此外，该数据集还常作为基准语料，用于对比不同过滤算法在去除低质内容与保留语义多样性之间的平衡效果，催生了一系列关于数据驱动型模型优化的前沿探索，进一步丰富了大规模预训练数据的理论体系与实践方法论。

数据集最近研究

最新研究方向

随着大规模语言模型预训练对数据质量要求的日益严苛，FineWeb Filtered作为从FineWeb中精炼出的高质量英文文本子集，代表了当前数据筛选领域的前沿方向。该数据集通过多重过滤机制——包括文本质量、毒性检测、AI生成内容识别及困惑度分析——剔除低质与有害内容，仅保留纯净、自然的网络文档。这一方向紧密关联着数据高效利用与模型鲁棒性提升的热点议题，其影响在于为预训练提供更可靠的语料基础，减少噪声干扰，从而推动语言模型在理解与生成任务上的性能跃升。FineWeb Filtered的发布凸显了数据清洗在构建下一代智能系统中的核心地位，为研究社区树立了可复现的质量标杆。