hltcoe/megawika

MegaWika是一个多语言和跨语言的文本数据集，包含30百万个维基百科段落及其清理后的网络引用。这些段落涵盖50种语言的维基百科，并提供非英语段落的自动英语翻译。此外，还提取了近130百万个英语问答对，并使用LOME FrameNet解析器检测段落中的FrameNet事件。数据集旨在支持报告生成、摘要、信息检索、问答等多种任务的研究。

原始信息汇总

数据集概述

名称: MegaWika

描述: MegaWika是一个包含3000万条多语言和跨语言文本的数据集，涵盖50种语言的维基百科段落及其网络引用的清理版本。数据集还包括从这些段落中提取的近1.3亿个英语问答对，以及使用LOME FrameNet解析器检测的FrameNet事件。

语言: 支持50种语言，包括英语、阿拉伯语、中文等。

数据结构: 数据集按语言划分，每种语言的数据进一步分为独立的JSON行文件。每个实例包含原始维基百科文章的文本、提取的维基百科段落、引用网页的URL和文本、从段落中提取的问答对以及段落的FrameNet解析。

任务支持: 支持多种任务，如报告生成、摘要、信息检索、问答等。

许可证: CC-BY-SA-4.0

数据集详细信息

数据实例结构:

• article_title: 原始维基百科文章的标题
• article_text: 维基百科文章的文本
• entries: 包含段落信息、机器翻译、源信息和问答对

数据字段:

• id: 段落ID
• passage: 段落文本及其解析
• original: 原始语言段落
• translation: 机器翻译的段落
• source_url: 引用网页的URL
• source_text: 从网页提取的内容
• qa_pairs: 问答对，包括问题、答案和相关框架信息

数据分割: 目前仅按语言分割，具体任务可能需要进一步的过滤和分割。

数据集创建

MegaWika的创建过程复杂，涉及从维基百科段落中提取信息、清理引用、提取问答对及进行FrameNet解析。

联系信息

负责人: Samuel Barham ([e-mail])

搜集汇总

数据集介绍

构建方式

MegaWika数据集的构建依托于维基百科的丰富语料资源，通过系统化的流水线作业完成。其核心步骤包括从50种语言版本的维基百科中提取约3000万条带有网页引用的段落，并对这些引用进行清洗与规范化处理。针对非英语段落，数据集提供了基于机器翻译的英语版本。此外，利用LOME框架对段落中的FrameNet事件进行自动解析，并从中提取了约1.3亿个英语问答对。整个构建过程确保了数据的多语言覆盖与语义丰富性。

特点

该数据集的核心特点在于其多语言与跨语言的广度，涵盖50种语言，包括英语、阿拉伯语、日语等，每种语言的数据均按维基百科版本独立划分。每个实例包含原始文章文本、引用来源的URL及爬取内容、问答对以及FrameNet语义解析结果。非英语段落额外提供了机器翻译、对齐映射及翻译质量评估。这种结构使得数据集在支持摘要、问答、信息检索等任务时具备高度的灵活性与可扩展性。

使用方法

MegaWika的使用基于语言划分的数据块，每个块以JSON Lines格式存储，便于按需加载。用户可根据任务需求（如文本生成或问答）对数据进行过滤、采样或划分训练集与测试集。数据字段清晰定义了文章标题、段落文本、引用来源及问答对等要素，非英语数据还包含翻译与对齐信息。通过HuggingFace数据集API，可直接调用该数据集，并利用其提供的实例结构进行模型训练或评估，尤其适用于多语言自然语言处理研究。

背景与挑战

背景概述

MegaWika数据集由约翰霍普金斯大学人类语言技术卓越中心（JHU/HLTCOE）于2023年发布，核心研究人员包括Samuel Barham、Orion Weller与Benjamin Van Durme等。该数据集旨在突破多语言与跨语言自然语言处理的研究瓶颈，通过整合来自50种维基百科语言的3000万篇带网络引文的段落，构建了一个覆盖语种广泛、规模庞大的文本资源库。其核心研究问题聚焦于如何利用维基百科的引用结构，为报告生成、摘要、问答等任务提供高质量、多语言的训练数据。MegaWika不仅提供了原始段落与引文，还通过自动化翻译生成了非英语段落的英文版本，并借助LOME框架提取了约1.3亿个英文问答对及FrameNet事件结构，显著推动了多语言信息检索与语义理解领域的发展，成为跨语言NLP研究的重要基石。

当前挑战

MegaWika所应对的领域挑战在于多语言文本资源的稀缺性与异构性。现有数据集多集中于英语，难以支持低资源语言的模型训练，而维基百科引文质量参差不齐，需克服噪声、版权及跨语言语义对齐等难题。在构建过程中，团队面临多重技术挑战：首先，从50种语言的海量维基百科页面中精准提取带引文的段落，需处理不同语言的句法结构与编码差异；其次，机器翻译的质量控制尤为棘手，非英语段落的自动译文可能出现重复或语义偏差，需设计算法自动判别病理化翻译；最后，问答对生成需在跨语言环境下确保答案跨度与原文的精确对齐，同时利用FrameNet解析器识别事件框架时，需应对多语言触发词与论元的不一致性，这些复杂性共同构成了数据集构建的核心障碍。

常用场景

经典使用场景

MegaWika数据集以其横跨50种语言、包含3000万条维基百科段落及其网络引文的结构化语料，成为多语言文本生成与跨语言自然语言处理研究的基石。研究者常利用该数据集构建摘要生成系统，通过将维基百科段落与对应的网络引文进行语义对齐，训练模型从多源异构文本中提炼核心信息。此外，数据集中附带的近1.3亿英文问答对，为机器阅读理解任务提供了大规模、多领域的训练素材，尤其适用于评估模型在跨语言知识迁移中的泛化能力。其独特的FrameNet事件标注信息，更使得语义角色标注与事件抽取研究能够借助丰富的多语言实例展开深入探索。

实际应用

在工业界，MegaWika的多语言特性使其成为构建全球化智能系统的核心数据源。搜索引擎公司可借助其引文-段落对齐结构，优化多语言信息检索的召回率与排序质量，特别是针对低资源语言的长尾查询。智能客服领域利用数据集中的问答对训练跨语言FAQ系统，使企业能够以较低成本扩展服务至非英语市场。内容聚合平台则通过摘要生成模型，自动将多语种新闻或百科内容转化为简洁的概述，提升用户信息获取效率。此外，数据集的FrameNet事件标注在金融舆情监控、医疗报告生成等垂直场景中展现出应用潜力，支持从多语言文档中自动提取结构化事件信息。

衍生相关工作

MegaWika的出现催生了一系列具有影响力的后续研究。基于其多语言段落-引文结构，研究者开发了跨语言事实核查系统，通过比对维基百科内容与源引文的一致性，自动检测虚假信息在不同语言版本中的传播模式。在机器翻译领域，数据集中的平行段落被用于微调大规模神经翻译模型，显著提升了低资源语言对的翻译质量。此外，其FrameNet标注启发了面向事件驱动的多语言摘要框架，使生成的摘要能够聚焦于关键语义事件而非机械摘取原文句子。问答对数据则被整合进检索增强生成（RAG）流水线，推动了开放域问答系统在50种语言上的性能突破，成为检验多语言预训练模型知识覆盖能力的基准测试集。