ConvRef

ConvRef 是一个带有重新表述的对话式 QA 基准。它由大约 11k 个自然对话和大约 205k 个重新表述组成。 ConvRef 建立在对话式 KG-QA 基准 ConvQuestions 之上。问题来自五个不同的领域：书籍、电影、音乐、电视剧和足球，答案是 Wikidata 实体。我们使用 ConvQuestions 中的对话会话作为用户研究的输入。研究参与者与基线 QA 系统进行交互，该系统使用 ConvQuestions 中可用的释义作为重新制定的代理进行培训。在给定的对话中以交互方式向用户显示后续问题，一个接一个，以及来自基线 QA 系统的答案。对于错误的答案，如果需要，系统会提示用户最多四次重新提出问题。通过这种方式，用户能够根据之前的错误答案和对话历史提出重新表述。