ConvQuestions

ConvQuestions 是第一个基于知识图谱的对话式问答的现实基准。它包含 11,200 个对话，可以通过 Wikidata 进行评估。它们是根据 Amazon Mechanical Turk 上 70 位 Master crowdworkers 的输入汇编而成，其中包含来自五个领域的对话：书籍、电影、足球、音乐和电视剧。这些问题具有各种复杂的问题现象，例如比较、聚合、组合性和时间推理。答案基于 Wikidata 实体，以便在不同方法之间进行公平比较。数据收集设置尽可能保持自然，注释者从五个域中的每一个中选择他们选择的实体，并在一个会话中制定整个对话。对话中的所有问题都来自同一个 Turker，他也为这些问题提供了黄金答案。对于知识图谱的适用性，问题在本质上被限制为客观或事实，但没有设置其他限制性指导方针。 ConvQuestions 的一个显着特性是，仅 Wikidata 无法回答几个问题（截至 2019 年 9 月），但可以在开放网络或 Wikipedia 中找到所需的事实。有关详细信息，请参阅我们的 CIKM 2019 全文。

搜集汇总

背景与挑战

背景概述

ConvQuestions是一个基于知识图谱的对话式问答现实基准，包含11,200个对话，覆盖书籍、电影等五个领域。数据通过众包收集，问题具有多种复杂现象，答案以Wikidata实体为基础，部分问题需依赖开放网络信息。