Wizard of Wikipedia

Name: Wizard of Wikipedia
Creator: OpenDataLab
Published: 2026-05-17 10:30:29
License: 暂无描述

OpenDataLab2026-05-17 更新2024-05-09 收录

下载链接：

https://opendatalab.org.cn/OpenDataLab/Wizard_of_Wikipedia

下载链接

链接失效反馈

官方服务：

资源简介：

在开放域对话中，智能代理应该展示对知识的使用，但是迄今为止很少有令人信服的证明。最流行的序列到序列模型通常“生成并希望”通用话语，当从输入话语映射到输出时，这些通用话语可以被记忆在模型的权重中，而不是使用召回的知识作为上下文。迄今为止，知识的使用被证明是困难的，部分原因是缺乏一个有监督的学习基准任务，该任务展示了具有明确基础的知识渊博的公开对话。为此，我们收集并发布了一个大型数据集，其中的对话直接基于从维基百科检索到的知识。然后，我们设计能够检索知识、阅读和调节知识并最终产生自然反应的架构。我们表现最好的对话模型能够对开放领域的主题进行有见地的讨论，通过自动指标和人工评估进行评估，而我们的新基准允许衡量这一重要研究方向的进一步改进。

In open-domain dialogue, intelligent agents should demonstrate the use of knowledge, yet there have been few compelling demonstrations to date. The most popular sequence-to-sequence models typically adopt "generate-and-hope" strategies to produce generic utterances, which can be memorized in the model's weights when mapping from input utterances to outputs, rather than leveraging retrieved knowledge as contextual support. To date, leveraging knowledge for open-domain dialogue has proven challenging, partially due to the lack of a supervised learning benchmark task that showcases knowledgeable open-domain conversations with explicit grounding. To address this critical gap, we collected and released a large-scale dataset where dialogues are directly grounded in knowledge retrieved from Wikipedia. We then designed architectures capable of retrieving, reading, and conditioning on knowledge to ultimately generate natural and coherent responses. Our best-performing dialogue model can conduct insightful discussions on open-domain topics, as evaluated by both automatic metrics and human evaluation, and our new benchmark enables the measurement of further improvements in this important research direction.

提供机构：

OpenDataLab

创建时间：

2022-08-19

搜集汇总

数据集介绍

构建方式

Wizard of Wikipedia数据集的构建基于一个独特的对话生成任务，旨在模拟人类与知识库的交互。该数据集通过从维基百科中提取大量知识片段，并将其与人类对话数据相结合，形成了一个包含丰富背景信息的对话语料库。具体构建过程中，研究者们首先从维基百科中筛选出与对话主题相关的条目，然后提取这些条目中的关键信息段落。接着，这些信息段落被嵌入到对话数据中，形成了一个既包含自然语言对话又包含背景知识的综合数据集。

特点

Wizard of Wikipedia数据集的显著特点在于其丰富的知识背景和高度情境化的对话内容。该数据集不仅包含了大量的对话实例，还嵌入了与对话主题紧密相关的维基百科信息，使得对话内容更加真实和有深度。此外，数据集中的对话涉及多个领域，如科学、历史、文化等，为多领域对话模型的训练提供了宝贵的资源。这种知识与对话的结合，使得该数据集在提升对话系统的知识理解和应用能力方面具有独特的优势。

使用方法

Wizard of Wikipedia数据集主要用于训练和评估对话生成模型，特别是那些需要结合背景知识进行对话的模型。使用该数据集时，研究者可以采用多种机器学习方法，如序列到序列模型、注意力机制等，来训练模型生成更加准确和有信息量的对话。此外，该数据集还可以用于评估模型的知识检索和应用能力，通过对比模型生成的对话与数据集中的真实对话，来衡量模型的表现。通过这种方式，Wizard of Wikipedia数据集为提升对话系统的智能性和实用性提供了重要的工具和资源。

背景与挑战

背景概述

Wizard of Wikipedia数据集由Facebook AI Research团队于2018年创建，旨在推动开放域对话系统的发展。该数据集的核心研究问题是如何使对话系统在开放域中具备知识整合与应用的能力，从而提升对话的自然性与信息量。通过整合维基百科的内容，Wizard of Wikipedia为研究人员提供了一个丰富的知识库，使得对话系统能够在特定主题上进行深入讨论。这一数据集的出现，极大地推动了对话系统在知识驱动对话领域的研究进展，为后续的智能对话系统开发提供了宝贵的资源。

当前挑战

Wizard of Wikipedia数据集在构建过程中面临了多重挑战。首先，如何从维基百科中高效地提取和整合相关知识，确保信息的准确性与时效性，是一个复杂的问题。其次，如何在对话系统中有效地应用这些知识，使得对话既自然又富有信息量，也是一个技术难题。此外，数据集的规模和多样性要求对话系统具备强大的处理能力和泛化能力，以应对不同主题和情境的对话需求。这些挑战不仅涉及数据处理和知识表示，还涉及到对话生成模型的优化与评估。

发展历史

创建时间与更新

Wizard of Wikipedia数据集由Facebook AI Research团队于2019年创建，旨在通过丰富的知识库增强对话系统的知识性。该数据集自创建以来，未有公开的更新记录。

重要里程碑

Wizard of Wikipedia数据集的标志性事件在于其首次引入了知识注入对话生成的方法，通过与维基百科的结合，使得对话系统能够更自然地引用和讨论广泛的主题。这一创新不仅提升了对话系统的知识深度，也为后续研究提供了新的方向。此外，该数据集在2019年的NeurIPS会议上发布，迅速引起了学术界和工业界的广泛关注，成为对话系统领域的一个重要里程碑。

当前发展情况

当前，Wizard of Wikipedia数据集已成为对话系统研究中的一个基准数据集，被广泛用于评估和开发具有知识增强功能的对话模型。其对相关领域的贡献在于推动了对话系统从简单的闲聊向知识密集型对话的转变，促进了对话系统在教育、咨询等领域的应用。随着自然语言处理技术的不断进步，该数据集的应用范围也在不断扩展，预计将在未来继续发挥其重要作用，推动对话系统技术的进一步发展。

发展历程

Wizard of Wikipedia数据集首次发表于2019年，由Emily Dinan等人提出，旨在为开放域对话系统提供丰富的知识库。
2019年
该数据集在2020年被广泛应用于多个研究项目中，特别是在对话系统和自然语言处理领域，展示了其在知识增强对话模型中的潜力。
2020年
随着研究的深入，Wizard of Wikipedia数据集在2021年进一步扩展，增加了更多的知识类别和对话样本，以支持更复杂的对话任务。
2021年

常用场景

经典使用场景

在自然语言处理领域，Wizard of Wikipedia数据集以其丰富的知识库和对话历史而著称。该数据集广泛应用于对话系统中，特别是那些需要基于特定主题进行深入讨论的场景。通过利用该数据集，研究者们能够训练出更加智能和知识丰富的对话代理，使其能够在与用户的交流中提供准确且有深度的信息。

衍生相关工作

基于Wizard of Wikipedia数据集，研究者们开发了多种先进的对话模型和算法。例如，一些研究工作提出了基于知识图谱的对话生成方法，通过将对话上下文与知识图谱中的实体和关系进行映射，生成更加连贯和信息丰富的对话。此外，还有一些工作专注于提升对话系统的知识检索效率，通过引入多模态信息检索技术，进一步增强了系统的知识应用能力。

数据集最近研究