Wizard of Wikipedia

在开放域对话中，智能代理应该展示对知识的使用，但是迄今为止很少有令人信服的证明。最流行的序列到序列模型通常“生成并希望”通用话语，当从输入话语映射到输出时，这些通用话语可以被记忆在模型的权重中，而不是使用召回的知识作为上下文。迄今为止，知识的使用被证明是困难的，部分原因是缺乏一个有监督的学习基准任务，该任务展示了具有明确基础的知识渊博的公开对话。为此，我们收集并发布了一个大型数据集，其中的对话直接基于从维基百科检索到的知识。然后，我们设计能够检索知识、阅读和调节知识并最终产生自然反应的架构。我们表现最好的对话模型能够对开放领域的主题进行有见地的讨论，通过自动指标和人工评估进行评估，而我们的新基准允许衡量这一重要研究方向的进一步改进。