wikimedia/structured-wikipedia

早期测试版发布的预解析英文和法文维基百科文章，包括信息框。邀请反馈。该数据集包含所有英文和法文维基百科版本的文章。

This dataset is an early beta release of pre-parsed English and French Wikipedia articles, including infoboxes. It contains all articles of the English and French language editions of Wikipedia, suitable for language modeling and masked language modeling tasks. The dataset features include article names, identifiers, abstracts, versions, and various metadata related to edits, events, and maintenance tags. The dataset is divided into two configurations, one for English and one for French Wikipedia articles.

搜集汇总

数据集介绍

构建方式

该数据集源自维基媒体企业版的结构化内容快照API，聚焦于英语和法语维基百科的主命名空间文章。原始数据以NDJSON格式分片存储，经过规范化处理：将递归嵌套或模式不稳定的字段（如章节、信息框、表格及引用元数据）编码为JSON字符串，以确保跨分片的模式统一。随后，对每个分片进行模式对齐，并通过Apache Arrow的unify_schemas方法合并为一致的列式结构，最终以zstd压缩的Parquet格式输出。整个流程旨在将人类可读的维基百科内容转化为机器可解析的高性能结构化数据。

特点

数据集包含超过1000万篇文章，总容量达44.42 GiB，采用统一的Parquet模式，兼容DuckDB、Pandas、Polars及Apache Spark等主流分析工具。其核心特色在于深度解析了参考文献与引文、表格、列表及文章内嵌图像，并引入可信度信号（如referenceneed和referencerisk）以指示信息源的可靠性。每个数据实例不仅包含文章标题、摘要、URL及Wikidata实体标识，还囊括了版本元数据、编辑者信息及ML模型评估的修订回退概率，为知识图谱构建与信息检索提供了丰富的上下文维度。

使用方法

用户可通过Hugging Face Datasets库加载该数据集，支持流式读取以避免内存瓶颈。例如，使用`load_dataset('wikimedia/structured-wikipedia', 'enwiki_namespace_0', split='train', streaming=True)`获取英语子集。对于JSON编码的字段，需在读取后调用`json.loads`解码。此外，Polars和DuckDB可直接通过`scan_parquet`或SQL查询Parquet文件，PyArrow则支持基于列的选择性加载。数据集仅提供`train`分片以兼容常见工具链，并附有固定的模式文件（schema.json）用于验证列式结构的一致性。

背景与挑战

背景概述

维基媒体结构化内容数据集（Wikimedia Structured Contents Dataset）由维基媒体企业团队于2026年5月创建，核心研究人员包括Stephanie Delbecque等，旨在解决维基百科知识以非结构化形式存在、难以被机器高效利用的长期困境。该数据集针对英语和法语维基百科的全部文章，通过企业级快照API进行预处理，输出为统一的Parquet格式结构化数据，包含解析后的参考文献、表格、列表、图片及可信度信号等丰富字段。其发布标志着维基百科从人类可读的百科全书向机器可读的知识库转型的重要一步，对自然语言处理、检索增强生成、知识图谱构建等领域产生了深远影响，为大规模语言模型的预训练与微调提供了高质量、可复用的数据基础。

当前挑战

该数据集面临的核心挑战包括：1）领域问题层面，维基百科文章结构复杂，不同语言版本、主题领域和编辑社区采用差异化的模板与排版惯例，导致信息抽取难以标准化，例如表格和参考文献的解析常需定制化系统；2）构建过程中，数据模式高度多态，部分字段（如章节、信息框）存在递归嵌套或键值不固定的开放字典结构，超出Apache Arrow的C Data Interface限制，需以JSON字符串存储并统一模式；3）快照中可能包含少量重复、删除或遗漏的文章，需通过版本标识符去重；4）长文章存在修订版本不一致的潜在问题，影响数据一致性。

常用场景

经典使用场景

该数据集的核心用途在于为自然语言处理与知识工程研究提供大规模、多语言、结构化的维基百科语料。经典场景包括预训练语言模型的语料构建、检索增强生成系统中的知识源注入、以及知识图谱的自动补全与推理。研究者可借助其预解析的段落、信息框、表格与引用结构，免去繁琐的HTML解析流程，直接获取高质量、对齐良好的知识单元，从而高效开展文本理解、信息抽取与语义建模等任务。

解决学术问题

该数据集直面维基百科原始页面机器可读性差的核心难题，解决了从非结构化文本中高效提取结构化知识的学术瓶颈。通过提供统一的模式化数据，它使研究者能够系统性地分析引用可信度、表格语义与跨语言知识对齐等复杂问题。其内置的credibility signals字段更助力于信息可靠性评估、虚假信息检测与知识验证等前沿方向，推动了知识驱动型AI在可解释性与事实一致性方面的理论突破。

衍生相关工作

该数据集催生了多项经典研究，包括基于维基百科表格的预训练模型优化、跨语言引用网络的语义对齐方法，以及利用credibility signals改进检索排序的算法。例如，研究者利用其解析后的引用与元数据，开发了可追溯信息源的知识增强生成框架；同时，其结构化信息框与实体链接字段，为实体消歧与关系抽取任务提供了标准化基准，推动了如WikiTableQA等评测数据集与相关模型的迭代演进。