openbmb/Ultra-FineWeb-L3

Ultra-FineWeb-L3 是 UltraData L0-L4 分层数据管理框架中针对通用高质量网络数据的 L3 精炼数据。它在 L2 质量筛选的基础上，进一步将高价值的网络语料转化为结构化、高可学习性的训练数据，具有更清晰的推理信号和更丰富的教育风格。该数据集基于 Ultra-FineWeb，利用 MiniCPM4 和 Qwen3 模型进行“问答对生成”和“多风格重写”，生成了超过 4000 亿个英文 token 和超过 2000 亿个中文 token。据我们所知，其中文部分是迄今为止最大的开源中文预训练合成数据集。作为专为后期训练效率设计的高层级数据，它被用作 MiniCPM5-1B 模型衰减阶段的关键训练数据。

Ultra-FineWeb-L3 is the L3 refined data for general high-quality web data within UltraDatas L0-L4 tiered data management framework. Moving beyond L2 quality selection, it transforms high-value web corpora into structured, high-learnability training data with clearer reasoning signals and richer educational styles. Built on top of Ultra-FineWeb, it leverages MiniCPM4 and Qwen3 to perform Q&A Pair Generation and Multi-style Rewriting, producing 400B+ English tokens and 200B+ Chinese tokens. To our best knowledge, the Chinese portion is the largest open-source Chinese pre-training synthetic dataset to date. As high-tier data designed for late-stage training efficiency, it serves as key training data for the decay phase of MiniCPM5-1B.

搜集汇总

数据集介绍

构建方式

Ultra-FineWeb-L3 作为 UltraData 分层数据管理体系中的 L3 精炼层级，其构建以 Ultra-FineWeb 万亿级高质量语料为种子数据，依托 MiniCPM4 与 Qwen3 系列模型执行两项核心合成任务。其一是问答对生成，将陈述性网页文本转化为“原始文本+多组问答对”的结构化样本，模型深入理解文档信息脉络，围绕核心概念、事实细节与逻辑关系生成自包含的问答内容。其二是多风格改写，对单一来源的网页内容进行百科全书式、教科书式、博客式及摘要式等多种表述风格的转换，同时归纳重组核心知识点，以此提升知识表征的多样性与鲁棒性。最终产出逾 4000 亿英文 token 与 2000 亿中文 token，其中文部分为当前开源领域规模最大的预训练合成语料库。

使用方法

用户可通过 Hugging Face Datasets 库直接加载本数据集，调用 load_dataset 函数并指定对应配置名称即可获取所需子集。数据集提供四种配置选项：英文问答合成与多风格合成、中文问答合成与多风格合成，每个配置均包含完整的训练数据。在模型训练中，L3 精炼数据主要应用于训练后期的衰减阶段，与 Ultra-FineWeb 的 L2 精选数据形成互补，有助于在相同 token 预算下实现更优的平均基准性能。实验表明，该数据集在英中双语场景下均能稳定提升模型在训练后期阶段的表现，尤其在中文学术基准上展现出持续扩大的优势。

背景与挑战

背景概述

Ultra-FineWeb-L3是由OpenBMB团队于2026年5月发布的高质量预训练语料库，隶属于UltraData框架的L3精细数据层级。该数据集以万亿词级别的Ultra-FineWeb为种子数据，借助MiniCPM4与Qwen3等先进模型，通过问答对生成与多风格改写两项核心技术，将通用网络文本转化为具有清晰推理信号与丰富教育风格的结构化训练数据。其英文部分包含超过4000亿词元，中文部分则突破2000亿词元，成为迄今为止规模最大的开源中文预训练合成语料，为MiniCPM5-1B等模型的衰退阶段训练提供了关键数据支撑，对推动大语言模型数据质量管理与合成数据研究具有里程碑意义。

当前挑战

该数据集致力于应对高质量预训练数据构建中的三项核心挑战。首先，原始网络文本以陈述性、单调的叙事内容为主，训练信号单一且缺乏结构化推理步骤，难以有效提升模型的逻辑思考能力。其次，网络文本表达风格高度集中，多以非正式的博客或论坛体呈现，覆盖教科书、百科全书、摘要等多样化格式不足，限制了知识表征的丰富性与鲁棒性。此外，有价值的知识点往往被冗余描述、导航文本及残余噪声所稀释，导致训练效率低下。在构建层面，如何在大规模语料上高效执行问答对合成与多风格改写，并确保生成内容的事实准确性、逻辑一致性及风格多样性，是技术实现中的关键瓶颈。

常用场景

经典使用场景

Ultra-FineWeb-L3作为L3精炼层级的数据集，其最经典的应用场景在于为大语言模型提供高质量、高可学习性的预训练语料。该数据集通过问答对生成与多风格改写两大核心技术，将原始网络文本转化为结构清晰、推理信号明确的训练样本，显著提升了模型对知识内在逻辑与表达多样性的理解能力。尤其在模型训练的衰减阶段，该数据集能够有效促进性能的稳定提升，被广泛应用于MiniCPM5-1B等前沿模型的后期训练中，助力模型在有限的训练预算内实现更高的综合基准表现。

解决学术问题

该数据集着力解决学术研究中预训练语料质量与学习效率不匹配的瓶颈问题。传统网络文本往往存在叙述单调、知识稀释以及表达风格单一等局限性，导致模型难以榨取深层知识与推理能力的提升。Ultra-FineWeb-L3通过L3精炼机制，将经过L2筛选的高质量语料进一步结构化，赋予数据更强的推理信号和教育风格，从而实证了在同等训练量下，高质量精炼数据可系统性地提升模型在英文与中文多任务基准上的成绩，为数据驱动的大模型训练提供了可复现的优化路径与理论支撑。

实际应用

在实际应用中，Ultra-FineWeb-L3为资源受限场景下的模型训练提供了关键数据支撑。其庞大的中英文合成语料库，尤其是作为目前最大的开源中文预训练合成数据集，直接服务于本地部署、边缘计算等对模型体积和效率有严格要求的场景。通过该数据集训练的模型，如MiniCPM5-1B，不仅能在保持较小参数量的同时达到同量级开源模型的领先性能，还能在各类知识问答、文本生成等下游任务中展现稳健的泛化能力，有效降低了构建高效轻量化语言模型的数据获取门槛与成本。

数据集最近研究

最新研究方向

Ultra-FineWeb-L3代表了大规模预训练语料库从“高质量筛选”向“高可学习性结构化重构”的前沿跃迁。该数据集基于UltraData框架的L0-L4层级管理体系，在L2精选文本（Ultra-FineWeb）之上，借助MiniCPM4与Qwen3等先进模型，创新性地实施了问答对生成与多风格改写两大合成策略，旨在破解传统网页语料中训练信号单一、风格固化与知识稀释的深层局限。通过将声明式文档转化为附有清晰推理路径的“原文+多问答对”结构，并重构为百科、教材、博客、摘要等多元表达形态，Ultra-FineWeb-L3显著提升了模型在后期训练阶段的泛化能力与知识组织效率。其中文部分作为当前开源规模最大的中文预训练合成数据集（超200B Tokens），为低资源语言的高质量数据生产提供了可复现的标杆。该成果不仅验证了层级化数据精炼在同等算力下对基准性能的持续增益，更将数据工程的焦点从单纯的过滤保真推向认知结构的重构，为通向更高效、更鲁棒的大模型训练范式开辟了关键路径。