facebook/wiki_dpr|文本检索数据集|语言建模数据集

这是用于评估Dense Passage Retrieval (DPR)模型的维基百科分割数据集。它包含2100万条来自维基百科的段落及其DPR嵌入。维基百科文章被分割为多个不重叠的100字文本块作为段落。数据集基于2018年12月20日的维基百科转储。有两种类型的DPR嵌入，分别基于不同的模型：`nq`（在Natural Questions数据集上训练）和`multiset`（在多个数据集上训练）。此外，可以从嵌入中创建FAISS索引：`exact`（精确索引，高内存使用）、`compressed`（压缩索引，近似，低内存使用）和`no_index`（无索引）。还可以生成不带嵌入的数据集：`no_embeddings`。

原始信息汇总

数据集概述

基本信息

• 数据集名称: Wiki-DPR
• 语言: 英语
• 许可证: CC-BY-NC-4.0
• 多语言性: 多语言
• 数据集大小: 10M<n<100M
• 源数据: 原始数据
• 任务类别:
  • 填空
  • 文本生成
• 任务ID:
  • 语言建模
  • 掩码语言建模
• 标签: 文本搜索

数据集结构

配置详情

• 配置名称: psgs_w100.nq.exact

  • 特征:
    • id: 字符串
    • text: 字符串
    • title: 字符串
    • embeddings: 浮点数序列
  • 分割:
    • train:
      • 字节数: 78419248156
      • 样本数: 21015300
  • 下载大小: 85288677114
  • 数据集大小: 78419248156

• 配置名称: psgs_w100.nq.compressed

  • 特征:
    • id: 字符串
    • text: 字符串
    • title: 字符串
    • embeddings: 浮点数序列
  • 分割:
    • train:
      • 字节数: 78419248156
      • 样本数: 21015300
  • 下载大小: 85288677114
  • 数据集大小: 78419248156

• 配置名称: psgs_w100.nq.no_index

  • 特征:
    • id: 字符串
    • text: 字符串
    • title: 字符串
    • embeddings: 浮点数序列
  • 分割:
    • train:
      • 字节数: 78419248156
      • 样本数: 21015300
  • 下载大小: 85288677114
  • 数据集大小: 78419248156

• 配置名称: psgs_w100.multiset.exact

  • 特征:
    • id: 字符串
    • text: 字符串
    • title: 字符串
    • embeddings: 浮点数序列
  • 分割:
    • train:
      • 字节数: 78419248156
      • 样本数: 21015300
  • 下载大小: 85289275855
  • 数据集大小: 78419248156

• 配置名称: psgs_w100.multiset.compressed

  • 特征:
    • id: 字符串
    • text: 字符串
    • title: 字符串
    • embeddings: 浮点数序列
  • 分割:
    • train:
      • 字节数: 78419248156
      • 样本数: 21015300
  • 下载大小: 85289275855
  • 数据集大小: 78419248156

• 配置名称: psgs_w100.multiset.no_index

  • 特征:
    • id: 字符串
    • text: 字符串
    • title: 字符串
    • embeddings: 浮点数序列
  • 分割:
    • train:
      • 字节数: 78419248156
      • 样本数: 21015300
  • 下载大小: 85289275855
  • 数据集大小: 78419248156

数据实例

每个实例包含最多100个单词的段落，以及该段落来自的维基百科页面的标题和DPR嵌入（一个768维的向量）。

示例

json { "id": "1", "text": "Aaron Aaron ( or ; "Ahärôn") is a prophet, high priest, and the brother of Moses in the Abrahamic religions. Knowledge of Aaron, along with his brother Moses, comes exclusively from religious texts, such as the Bible and Quran. The Hebrew Bible relates that, unlike Moses, who grew up in the Egyptian royal court, Aaron and his elder sister Miriam remained with their kinsmen in the eastern border-land of Egypt (Goshen). When Moses first confronted the Egyptian king about the Israelites, Aaron served as his brothers spokesman ("prophet") to the Pharaoh. Part of the Law (Torah) that Moses received from", "title": "Aaron", "embeddings": [-0.07233893871307373, 0.48035329580307007, 0.18650995194911957, -0.5287084579467773, -0.37329429388046265, 0.37622880935668945, 0.25524479150772095, ... -0.336689829826355, 0.6313082575798035, -0.7025573253631592] }

数据字段

所有分割的数据字段相同：

• id: 字符串特征
• text: 字符串特征
• title: 字符串特征
• embeddings: 浮点数序列特征

数据分割

名称	训练样本数
psgs_w100.multiset.compressed	21015300
psgs_w100.multiset.exact	21015300
psgs_w100.multiset.no_index	21015300
psgs_w100.nq.compressed	21015300
psgs_w100.nq.exact	21015300

AI搜集汇总

数据集介绍

构建方式

该数据集由维基百科的2100万段落组成，这些段落是从2018年12月20日的维基百科转储中提取的。每个段落被分割成最多100个单词的文本块，并附有标题和DPR嵌入。DPR嵌入基于两种不同的模型生成：一种是基于自然问题数据集训练的模型（nq），另一种是基于多数据集训练的模型（multiset）。此外，数据集提供了三种不同的FAISS索引选项：精确索引（exact）、压缩索引（compressed）和无索引（no_index）。

使用方法

用户可以通过HuggingFace的datasets库加载和使用该数据集。首先，用户需要安装datasets库，然后使用load_dataset函数加载所需的配置。例如，加载psgs_w100.nq.exact配置的代码如下： python from datasets import load_dataset dataset = load_dataset('facebook/wiki_dpr', 'psgs_w100.nq.exact') 加载后，用户可以访问数据集的各个字段，如id、text、title和embeddings，并将其用于各种自然语言处理任务，如文本生成、掩码语言建模和密集段落检索。

背景与挑战

背景概述

在自然语言处理领域，信息检索技术的进步对于开放域问答系统的发展至关重要。Facebook研究院于2020年推出了Wiki-DPR数据集，该数据集基于2018年12月20日的维基百科数据，包含了2100万段落及其对应的DPR嵌入向量。这些段落被分割为最多100个单词的块，旨在评估密集段落检索（DPR）模型的性能。Wiki-DPR数据集的创建主要由Facebook研究院的Vladimir Karpukhin等人推动，其核心研究问题是如何通过密集嵌入向量提高信息检索的准确性和效率。该数据集的发布对开放域问答系统和信息检索领域产生了深远影响，为研究人员提供了一个标准化的评估基准。

当前挑战

Wiki-DPR数据集在构建过程中面临多项挑战。首先，数据集的规模庞大，处理和存储2100万段落及其嵌入向量需要高效的计算资源和存储解决方案。其次，生成高质量的嵌入向量需要复杂的模型训练和调优过程，确保嵌入向量能够准确反映段落的语义信息。此外，数据集的多语言特性增加了处理的复杂性，需要跨语言的一致性和准确性。最后，数据集的构建还需考虑隐私和伦理问题，确保不包含个人敏感信息，并遵守相关的数据使用许可协议。这些挑战共同构成了Wiki-DPR数据集在实际应用中的主要障碍。

常用场景

经典使用场景

在自然语言处理领域，facebook/wiki_dpr数据集以其丰富的维基百科内容和密集段落检索（DPR）嵌入而闻名。该数据集的经典使用场景主要集中在开放域问答系统中，通过利用DPR嵌入来高效检索相关段落，从而提升问答系统的准确性和响应速度。此外，该数据集还可用于语言模型的预训练和微调，特别是在需要大量文本数据进行模型优化的场景中。

解决学术问题

facebook/wiki_dpr数据集在学术研究中解决了多个关键问题。首先，它为研究人员提供了一个大规模、高质量的文本数据源，用于开发和验证新的自然语言处理算法。其次，通过提供预计算的DPR嵌入，该数据集显著降低了计算密集型任务的复杂性，如段落检索和问答系统中的信息抽取。此外，该数据集的多语言特性也为跨语言研究提供了宝贵的资源，推动了多语言自然语言处理技术的发展。

实际应用

在实际应用中，facebook/wiki_dpr数据集被广泛用于构建智能问答系统和信息检索引擎。例如，在搜索引擎中，该数据集的DPR嵌入可以帮助快速定位与用户查询相关的维基百科段落，从而提供更精准的搜索结果。此外，该数据集还可用于开发智能助手和聊天机器人，通过高效检索和理解大量文本信息，提升用户体验。

数据集最近研究

最新研究方向

在自然语言处理领域，facebook/wiki_dpr数据集的最新研究方向主要集中在提升密集段落检索（Dense Passage Retrieval, DPR）模型的效率和准确性。研究者们致力于优化模型在处理大规模文本数据时的计算资源消耗，同时探索如何在多语言环境下提升检索效果。此外，随着知识图谱与文本检索的融合趋势，研究者们也在探索如何将DPR模型与知识图谱相结合，以增强检索结果的语义丰富性和准确性。这些研究不仅推动了开放域问答系统的发展，也为信息检索技术的未来应用提供了新的可能性。