DSTC9 Track 1

该数据集用于支持无摩擦的任务导向对话，其中对话流程不会因用户请求超出API/DB范围而中断，但可能已在外部知识源中可用。参与者将开发对话系统以理解相关领域知识，并生成包含相关选定知识的系统响应。

This dataset is designed to support frictionless task-oriented dialogues, where the conversation flow is not interrupted by user requests that fall outside the scope of the API/DB but may be available in external knowledge sources. Participants will develop dialogue systems capable of understanding relevant domain knowledge and generating system responses that incorporate pertinent selected knowledge.

原始信息汇总

数据集概述

数据集名称

• DSTC9 Track 1 - Beyond Domain APIs: Task-oriented Conversational Modeling with Unstructured Knowledge Access

数据集目的

• 支持无摩擦的任务导向对话，处理超出API/DB范围但可在外部知识源中获取的用户请求。

数据集内容

• 包含用于训练和验证的数据集，以及用于测试的未标记数据集。
• 数据集基于MultiWoz 2.1，并增加了新的知识寻求对话轮次。
• 提供知识寻求轮次检测、知识选择和基于知识的响应生成任务的标注和真实响应。

数据集任务

1. 知识寻求轮次检测

   • 目标：决定是否继续当前对话场景或触发知识访问分支。
   • 输入：当前用户话语、对话上下文、知识片段。
   • 输出：二分类（是否需要知识访问）。

2. 知识选择

   • 目标：从领域知识库中为每个知识访问轮次选择合适的知识源。
   • 输入：当前用户话语、对话上下文、知识片段。
   • 输出：排名前k的知识候选列表。

3. 基于知识的响应生成

   • 目标：根据输入的用户话语、对话上下文和选定的知识片段生成系统响应。
   • 输入：当前用户话语、对话上下文、选定的知识片段。
   • 输出：生成的系统响应。

评估方法

• 自动化评估指标
  • 知识寻求轮次检测：精确度/召回率/F-measure
  • 知识选择：Recall@1, Recall@5, MRR@5
  • 基于知识的响应生成：BLEU, ROUGE, METEOR
• 最终排名
  • 基于人工评估结果，考虑语法/语义正确性、自然性、适当性、信息性和与给定知识的关联性。

数据集使用

• 参与者可以使用训练和验证数据集中的标注和真实响应来开发系统组件。
• 测试阶段，参与者将提交最多5个系统输出，涵盖所有三个任务。

数据集更新

• 训练数据发布：2020年6月15日
• 测试数据发布：2020年9月21日
• 提交截止日期：2020年9月28日
• 自动化评估完成：2020年10月12日
• 人工评估完成：2020年10月19日

搜集汇总

数据集介绍

构建方式

DSTC9 Track 1数据集的构建基于MultiWoz 2.1，并通过引入新的知识寻求对话轮次进行了增强。该数据集不仅包含了原始的对话数据，还提供了与每个领域或实体相关的知识片段，这些知识片段被用于支持对话系统在需要时访问外部知识源。训练和验证集中的标注数据包括知识寻求轮次的检测、知识选择任务的标注以及基于知识生成的系统响应。测试集则包括未标注的对话数据和全新的、未见过的对话数据，以评估模型的泛化能力。

特点

DSTC9 Track 1数据集的主要特点在于其专注于任务导向的对话系统，特别是在需要访问外部知识源的情况下。数据集通过引入知识寻求轮次，使得对话系统能够在超出API或数据库范围时，利用外部知识生成合适的响应。此外，数据集提供了详细的标注信息，包括知识选择的候选列表和基于知识的系统响应，这为模型的训练和评估提供了丰富的资源。

使用方法

使用DSTC9 Track 1数据集时，研究者可以利用提供的训练和验证数据进行模型训练，重点关注知识寻求轮次的检测、知识选择以及基于知识的响应生成。在测试阶段，参与者需要提交最多5次系统输出，涵盖所有三个任务。数据集的评估采用自动化指标和人工评估相结合的方式，确保系统在语法、语义、自然性、适当性、信息量和相关性等方面的表现。

背景与挑战

背景概述

DSTC9 Track 1数据集由Seokhwan Kim等研究人员于2020年创建，旨在推动面向任务的对话系统在非结构化知识访问方面的研究。该数据集基于MultiWoz 2.1进行扩展，引入了需要外部知识支持的对话轮次，专注于解决对话系统在处理超出API或数据库范围的请求时的流畅性问题。通过提供丰富的训练和验证数据，该数据集为研究者提供了一个评估和开发知识驱动对话系统的平台，对提升任务导向型对话系统的智能性和实用性具有重要意义。

当前挑战

DSTC9 Track 1数据集面临的挑战主要集中在以下几个方面：首先，如何准确检测对话中需要外部知识支持的轮次，这是一个二分类问题，要求系统能够从对话上下文中识别出知识需求。其次，在知识选择任务中，系统需要从庞大的知识库中筛选出与当前对话最相关的内容，这对知识检索的准确性和效率提出了高要求。最后，在知识驱动的响应生成任务中，系统需结合用户输入、对话上下文和选定的知识片段生成自然且信息丰富的回复，这对生成模型的语言理解和表达能力构成了挑战。此外，数据集的构建过程中还需处理知识片段的标注和对话数据的扩展，确保数据的多样性和覆盖范围。

常用场景

经典使用场景

DSTC9 Track 1数据集的经典使用场景主要集中在任务导向型对话系统中，特别是在处理超出预定义API或数据库范围的用户请求时。该数据集通过引入外部知识源，使得对话系统能够在用户提出非结构化知识相关问题时，自动检索并生成合适的系统响应。具体任务包括知识寻求型对话检测、知识选择以及基于知识的选择生成系统响应。这些任务的结合使得对话系统能够更加智能地处理复杂对话场景，提升用户体验。

解决学术问题

DSTC9 Track 1数据集解决了任务导向型对话系统中常见的学术问题，即如何在对话过程中有效利用外部知识源来增强系统的响应能力。传统的任务导向型对话系统依赖于预定义的API或数据库，而该数据集通过引入非结构化知识访问，使得系统能够在面对超出API范围的请求时，依然能够提供准确且相关的回答。这一研究方向不仅推动了对话系统在知识整合方面的进展，还为多领域对话系统的通用性和灵活性提供了新的研究视角。

衍生相关工作

DSTC9 Track 1数据集的发布催生了一系列相关研究工作，特别是在任务导向型对话系统和知识整合领域。许多研究者基于该数据集开发了新的模型和算法，用于改进知识寻求型对话检测、知识选择和基于知识的响应生成。此外，该数据集还激发了对多领域对话系统通用性和跨领域知识迁移的研究兴趣。相关工作不仅在学术界引起了广泛关注，还在工业界推动了智能对话系统的实际应用和优化。