ConvQuestions

ConvQuestions 是第一个基于知识图谱的对话式问答的现实基准。它包含 11,200 个对话，可以通过 Wikidata 进行评估。它们是根据 Amazon Mechanical Turk 上 70 位 Master crowdworkers 的输入汇编而成，其中包含来自五个领域的对话：书籍、电影、足球、音乐和电视剧。这些问题具有各种复杂的问题现象，例如比较、聚合、组合性和时间推理。答案基于 Wikidata 实体，以便在不同方法之间进行公平比较。数据收集设置尽可能保持自然，注释者从五个域中的每一个中选择他们选择的实体，并在一个会话中制定整个对话。对话中的所有问题都来自同一个 Turker，他也为这些问题提供了黄金答案。对于知识图谱的适用性，问题在本质上被限制为客观或事实，但没有设置其他限制性指导方针。 ConvQuestions 的一个显着特性是，仅 Wikidata 无法回答几个问题（截至 2019 年 9 月），但可以在开放网络或 Wikipedia 中找到所需的事实。有关详细信息，请参阅我们的 CIKM 2019 全文。