RussianNLP/wikiomnia

Name: RussianNLP/wikiomnia
Creator: RussianNLP
Published: 2023-04-07 06:43:59
License: 暂无描述

Hugging Face2023-04-07 更新2024-03-04 收录

下载链接：

https://hf-mirror.com/datasets/RussianNLP/wikiomnia

下载链接

链接失效反馈

官方服务：

资源简介：

WikiOmnia数据集是一个公开的问答对数据集，基于俄罗斯维基百科的文章生成。数据集包含两部分：自动生成的大量数据（约1590万条）和经过严格自动验证的过滤数据（约350万条）。每条数据包括原始文章摘要、生成的问题和生成的答案，遵循SQuAD格式。数据集用于问答系统的训练和评估，适用于新闻、小说和社交媒体等其他领域。

The WikiOmnia dataset is a public question-answering pair dataset generated based on articles from the Russian Wikipedia. It consists of two parts: a large volume of automatically generated data (approximately 15.9 million entries) and strictly automatically validated filtered data (approximately 3.5 million entries). Each entry includes the original article abstract, generated questions and generated answers, following the SQuAD format. The dataset is used for the training and evaluation of question-answering systems, and is applicable to other domains such as news, novels and social media.

提供机构：

RussianNLP

原始信息汇总

数据集概述

数据集名称

WikiOmnia

数据集配置

wikiomnia_ruT5_raw
- 特征:
  - title: 字符串
  - categories: 字符串
  - summary: 字符串
  - question: 字符串
  - answer: 字符串
  - batch_id: 字符串
- 分割:
  - dev: 266295个样本, 600356136字节
  - test: 267751个样本, 572651444字节
- 下载大小: 1204094848字节
- 数据集大小: 1173007580字节
wikiomnia_ruT5_filtered
- 特征:
  - title: 字符串
  - categories: 字符串
  - summary: 字符串
  - question: 字符串
  - answer: 字符串
  - batch_id: 字符串
- 分割:
  - train: 2088027个样本, 4157093224字节
- 下载大小: 4278635364字节
- 数据集大小: 4157093224字节
wikiomnia_ruGPT3_filtered
- 特征:
  - title: 字符串
  - categories: 字符串
  - summary: 字符串
  - question: 字符串
  - answer: 字符串
  - batch_id: 字符串
- 分割:
  - train: 173314个样本, 338607635字节
- 下载大小: 348694031字节
- 数据集大小: 338607635字节
wikiomnia_ruGPT3_raw
- 特征:
  - title: 字符串
  - categories: 字符串
  - summary: 字符串
  - question: 字符串
  - answer: 字符串
  - batch_id: 字符串
- 分割:
  - train_batch1至train_batch20: 多个批次, 总样本数超过500万, 总字节数超过144亿
- 下载大小: 14939875008字节
- 数据集大小: 14490287727字节
wikiomnia_ruT5_raw_train
- 特征:
  - title: 字符串
  - categories: 字符串
  - summary: 字符串
  - question: 字符串
  - answer: 字符串
  - batch_id: 字符串
- 分割:
  - train_batch3至train_batch20: 多个批次, 总样本数超过500万, 总字节数超过142亿
- 下载大小: 14634332336字节
- 数据集大小: 14208032842字节

许可证

Apache-2.0

搜集汇总

数据集介绍

构建方式

WikiOmnia数据集源于对俄语维基百科全量文章的自动化问答对生成与过滤流程。构建过程以2021年3月的维基百科快照为语料基础，采用ruT5-large和ruGPT-3 XL两种预训练模型，在SberQuaD数据集上微调后，针对每篇文章摘要段落生成对应的疑问句与答案。为提升质量，引入基于ruBERT的深度问答模型进行严格自动验证，最终形成原始全量数据与经筛选的高质量子集。

特点

该数据集规模宏大，原始部分包含约1590万个三元组（摘要段落、生成问题与答案），过滤后仍保留超过350万个经自动校验的样本。数据以标准SQuAD格式组织，覆盖俄语维基百科所有可用条目，兼具广泛性与结构化特点。同时，数据集提供ruT5和ruGPT-3两种模型生成的版本，便于研究不同生成策略对问答质量的影响。

使用方法

数据集通过HuggingFace Datasets库加载，支持按配置名（如wikiomnia_ruT5_raw、wikiomnia_ruT5_filtered）选择不同子集。每条样本包含标题、类别、摘要、问题、答案及批次ID字段，可直接用于训练俄语问答模型或评估生成式问答系统的性能。研究人员还可利用开源管线将相同方法迁移至新闻、小说等其他领域，扩展应用场景。

背景与挑战

背景概述

WikiOmnia数据集由俄罗斯自然语言处理研究团队（RussianNLP）于2022年创建，核心研究人员包括Dina Pisarevskaya和Tatiana Shavrina。该数据集旨在解决俄语问答系统领域大规模训练数据匮乏的问题，通过全自动生成流水线，从2021年3月版本的俄语维基百科中提取所有文章摘要，并利用ruT5-large和ruGPT-3 XL等预训练模型生成问答对。其创新之处在于提供了原始数据和经过严格自动过滤的清洁数据两部分，前者包含超过1500万组问答三元组，后者则保留了约350万组高质量样本。WikiOmnia的发布显著推动了俄语自然语言处理领域的发展，为机器阅读理解、问答系统等任务提供了宝贵的基准资源，其开源流水线亦为其他语种和领域的问答数据集构建提供了可复现的范式。

当前挑战

WikiOmnia数据集面临的挑战首先体现在领域问题的复杂性上：问答生成任务要求模型不仅理解文本语义，还需精准定位答案片段，而俄语复杂的语法形态和丰富的词汇变化增加了这一过程的难度。在构建过程中，主要挑战包括：1）自动生成问答对的质量控制，原始数据中可能存在噪声和语义偏差，需通过多阶段过滤机制（如基于ruBERT的答案验证）来提升准确性；2）大规模数据处理的计算资源消耗，处理数百万维基百科文章对算力和存储提出了极高要求；3）跨领域泛化能力的评估，尽管流水线在新闻、小说等文本上进行了测试，但如何确保在不同文体和话题上保持一致的生成质量仍是关键难题。

常用场景

经典使用场景

WikiOmnia数据集的核心应用场景在于为俄语机器阅读理解与问答系统提供大规模、高质量的监督训练数据。该数据集基于俄语维基百科全文，通过自动化生成管线构建了包含近1600万组三元组（段落-问题-答案）的庞大规模语料，并特别提供了经过严格自动筛选的约350万组高质量子集。研究者可将其直接用于微调预训练语言模型，如ruT5或ruGPT-3，以提升模型在俄语开放域问答任务上的表现。其SQuAD格式的设计使得该数据集能够无缝衔接主流的抽取式问答评测体系，成为俄语自然语言处理领域不可或缺的基础资源。

衍生相关工作

WikiOmnia的发布催生了一系列衍生研究工作。其核心的自动化生成与过滤管线被验证可迁移至新闻、小说、社交媒体等其他文本领域，启发了跨领域问答数据集的构建方法。基于该数据集，研究者进一步探索了不同预训练模型（如ruT5与ruGPT-3）在生成式与抽取式问答任务上的性能差异，推动了俄语大语言模型的评估基准发展。此外，该数据集也被用于研究自动化质量评估指标（如F1、EM）与人工评价之间的相关性，为构建更可靠的问答系统评价体系提供了实证依据。这些工作共同丰富了俄语自然语言处理的研究生态。

数据集最近研究