MultiWOZ 2.0

Multi-Domain Wizard-of-Oz数据集（MultiWOZ），是一个完全标注的人-人编写对话集合，涵盖多个领域和主题。规模为10k对话，比所有先前注释的任务导向语料库至少大一个数量级。

The Multi-Domain Wizard-of-Oz dataset (MultiWOZ) is a fully annotated collection of human-written dialogues spanning multiple domains and topics. With a scale of 10k dialogues, it is at least an order of magnitude larger than all previously annotated task-oriented corpora.

原始信息汇总

数据集概述

数据集名称

• Task-Oriented Dialogue Research Progress Survey

数据集内容

• 调查了大多数现有的对话数据集，并总结了它们的基本信息，如简介、下载链接和大小。
• 包含流行数据集的排行榜，展示任务导向对话领域的研究进展。

数据集详细信息

• 名称：Few-shot Slot Tagging Benchmark
• 简介：对话槽标记数据集，适用于小样本学习设置，是首个小样本序列标记基准（元事件样式数据格式），还包括5个NER数据集用于小样本序列标记评估。
• 链接：
  • 下载：https://atmahou.github.io/attachments/ACL2020data.zip
  • 论文：https://arxiv.org/pdf/2006.05702.pdf
• 多/单轮对话：单轮
• 任务细节：7个对话任务（天气、播放音乐、搜索、添加到列表、预订、电影）和5个NER任务
• 公共访问性：是
• 大小与统计：每个任务包含100个事件，每个事件包含一个查询集（20个样本）和一个支持集（1-shot & 5-shot）
• 包含标签：槽
• 缺失标签：无提及

搜集汇总

数据集介绍

构建方式

MultiWOZ 2.0数据集通过收集和标注人类之间的对话，构建了一个多领域、多主题的任务导向对话语料库。该数据集涵盖了多个领域和主题，包含了10,000多个对话，显著超过了以往的任务导向对话数据集。其构建方式包括对话的收集、标注以及对不同领域和任务的详细标记，确保了数据集的多样性和实用性。

特点

MultiWOZ 2.0数据集的主要特点在于其规模庞大、领域广泛以及标注的全面性。该数据集不仅覆盖了多个领域，如酒店预订、餐厅预订等，还包含了详细的对话状态跟踪标注，使得其在任务导向对话研究中具有极高的应用价值。此外，数据集的更新版本MultiWOZ 2.1和MultiWOZ 2.2进一步提升了数据的质量和准确性。

使用方法

MultiWOZ 2.0数据集主要用于对话状态跟踪（DST）任务的研究。研究者可以通过该数据集训练和评估对话系统的状态跟踪能力，探索如何在多领域和多任务的背景下实现高效的对话管理。数据集的标注信息可以用于训练模型，如SOM-DST、TRADE等，以提升对话系统的性能。此外，数据集的开放性也鼓励研究者进行创新性的实验和模型开发。

背景与挑战

背景概述

MultiWOZ 2.0 是由剑桥大学工程系的研究团队于2018年创建的一个面向任务的对话数据集，旨在推动任务导向对话系统的研究。该数据集包含了10,000多个多领域、多主题的人与人之间的对话，涵盖了多个领域和话题，规模远超以往的任务导向对话语料库。MultiWOZ 2.0的发布标志着任务导向对话研究的一个重要里程碑，为对话状态跟踪（DST）等任务提供了丰富的标注数据，极大地推动了相关领域的研究进展。

当前挑战

MultiWOZ 2.0 数据集在构建过程中面临了多重挑战。首先，多领域的对话数据收集和标注工作极为复杂，涉及多个领域的专业知识，确保数据的准确性和一致性是一个巨大的挑战。其次，对话状态跟踪任务本身具有高度的复杂性，模型需要在多轮对话中准确预测或表示对话状态，这对模型的鲁棒性和泛化能力提出了极高的要求。此外，随着数据集的不断更新（如MultiWOZ 2.1和MultiWOZ 2.2），如何保持模型的性能并适应新的数据变化也是一个重要的研究挑战。

常用场景

经典使用场景

MultiWOZ 2.0数据集在任务导向对话系统研究中被广泛用于对话状态跟踪（Dialogue State Tracking, DST）任务。该数据集包含了超过10,000个多领域、多主题的人类对话，涵盖了多个领域，如酒店预订、餐厅预订等。研究者通常利用该数据集训练和评估对话系统的状态跟踪能力，旨在预测或表示对话状态，包括目标约束、请求的槽位以及用户的对话行为。

解决学术问题

MultiWOZ 2.0数据集解决了任务导向对话系统中的关键学术问题，特别是在对话状态跟踪领域。通过提供大规模、多领域的标注数据，该数据集帮助研究者开发和验证能够处理复杂对话场景的模型。其丰富的标注信息和多样的对话场景使得研究者能够探索如何更好地捕捉和表示对话状态，从而提升对话系统的准确性和鲁棒性。

衍生相关工作

MultiWOZ 2.0数据集的发布催生了许多相关的经典工作，特别是在对话状态跟踪和任务导向对话系统领域。例如，基于该数据集的研究者提出了多种先进的模型，如SOM-DST、TRADE和SUMBT等，这些模型在对话状态跟踪任务中表现出色。此外，MultiWOZ 2.0的发布还推动了对话系统在多领域任务处理方面的研究，促进了对话系统在实际应用中的进一步发展。