ATIS, MIT corpus, SNIPS, facebook TOP semantic parsing, Facebook Multilingual Task Oriented Dataset, snips_slu_data_v1.0, SMP2017-ECDT, E-commerce Shopping Assistant (ECSA)

用于任务导向对话的自然语言理解和对话状态跟踪数据集，包含多个领域的数据集，如航班预订、餐厅和电影、音乐播放列表、天气、音乐、书籍评级等。

A dataset for natural language understanding and dialogue state tracking in task-oriented dialogues, encompassing multiple domains such as flight booking, restaurants and movies, music playlists, weather, music, and book ratings.

原始信息汇总

数据集概述

单轮数据集

数据集	领域	语义标注	任务	下载链接
ATIS	订机票	意图, 槽	意图分类, 槽标记	链接
MIT corpus	餐厅 & 电影	槽	槽标记	链接
SNIPS	播放列表, 餐厅, 天气, 音乐, 评价书籍等	意图, 槽	意图分类, 槽标记	链接
facebook TOP semantic parsing	导航和事件	层次意图, 槽	成分解析	链接
Facebook Multilingual Task Oriented Dataset	警报, 提醒, 天气	意图, 槽	意图分类, 槽标记	链接
snips_slu_data_v1.0	智能灯, 智能扬声器	意图, 槽	意图分类, 槽标记	链接
SMP2017-ECDT (中文)	机票, 酒店, 闲聊	意图	意图分类	链接
E-commerce Shopping Assistant (ECSA) (中文)	电子商务购物	槽	槽标记	链接
Clinc Intent Detection	银行业务, 工作, 元数据, 汽车, 旅行, 家庭, 公用事业, 厨房, 小谈, 信用卡	意图	意图分类和超出范围检测	链接
FewJoint (中文)	多领域用于小样本学习	意图, 槽	意图分类, 槽标记	链接

多轮数据集

数据集	领域数量	跨领域	语义标注	NLU/DST 任务	下载链接
cam DSTC 2&3	2	否	对话行为	NLU (槽填充), DST (槽-值对)	链接
DSTC 4	~5	是	言语行为, 槽	NLU (槽标记), DST (槽-值对)	链接
google Sim-R/Sim-M/Sim-gen	3	否	行为类型, 槽	NLU (槽标记), DST (槽-值对)	链接
cam MultiWOZ 2.0/2.1	5	是	多领域, 槽-值对	DST (槽-值对)	链接
maluuba Frames	1	否	意图, 对话行为	NLU (意图分类, 槽标记), DST (槽-值对)	链接
Microsoft Dialogue Challenge	3	否	对话行为	NLU (槽标记)	链接
dstc8-schema-guided-dialogue	17	是	多领域, 槽-值对, 请求槽	DST	链接
MultiDoGo	6	是	超过81K对话跨越六个领域	NLU, DST	链接
Taskmaster-1/2	6+7	否	13,215 + 17,289任务对话跨越多个领域	NLU/DST	链接
CrossWOZ (中文)	5	是	5,012任务对话跨越五个领域	NLU/DST	链接

详细信息

ATIS

• 单轮;
• 输入句子: 自然语言;
• 数据大小 (单领域"机票信息搜索"):
  • 训练集: 4978条语句;
  • 测试集: 893条语句;
• 语义标注: 意图 (句子类别), 槽 (序列标记)
  • 意图数量: 18
  • 槽数量: 83
• 下载: 链接

MIT corpus

• 单轮;
• 输入句子: 自然语言;
• 数据大小:
  • MIT_Restaurant领域:
    • 训练集: 7660条语句;
    • 测试集: 1521条语句;
  • MIT_Movie领域 (简单查询):
    • 训练集: 9775条语句;
    • 测试集: 2443条语句;
  • MIT_Movie领域 (复杂查询):
    • 训练集: 7816条语句;
    • 测试集: 1953条语句;
• 语义标注: 槽 (序列标记)
• 下载: 链接

SNIPS

• 单轮;
• 输入句子: 自然语言;
• 数据大小:
  • 7个意图: 每个超过2000个查询。
• 语义标注: 意图 (句子类别), 槽 (序列标记)
• 下载: 链接

TOP semantic parsing

• 单轮;
• 输入句子: 自然语言;
• 数据大小:
  • 训练集: 35741个查询
  • 测试集: 9042个查询
• 语义标注: 层次意图, 槽 (树结构)
  • 意图数量: 25
  • 槽数量: 36
• 下载: 链接

SMP2017-ECDT (中文)

• 单轮;
• 输入句子: 自然语言;
• 数据大小:
  • 链接
  • 训练集: 2299个查询
  • 开发集: 770个查询
  • 测试集: 666个查询
• 语义标注: 意图
  • 意图数量: 31
• 下载: 链接

DSTC 2&3

• 多轮: 人机对话;
• 输入句子:
  • 人类转录;
  • ASR输出: n-最佳, 词混淆网络;
• 数据大小:
  • DSTC 2 (餐厅信息领域): 源领域
    • 训练集: 约2k对话;
    • 测试集: 约1k对话;
  • DSTC 3 (旅游信息领域): 扩展领域
    • 种子数据: 约10对话;
    • 测试集: 约2k对话;
• 语义标注: 对话行为
  • DSTC 2: 8个槽;
  • DSTC 3: 13个槽;
• 下载: 链接

DSTC 4

• 多轮: 人人对话;
• 输入句子: 自然语言, 人类转录;
• 数据大小:
  • 关于新加坡旅游信息的数据，从Skype通话中收集。
  • 35个对话总计31,034条语句和273,580个词
• 语义标注: 言语行为, 槽, 对话状态 (槽-值对) 在子对话级别
• 下载: 挑战参与者专用, 链接

google Sim-R/Sim-M/Sim-gen

• 多轮: 代理与模拟用户之间的对话;
• 输入句子: 自然语言;
• 数据大小:

数据集	槽	训练	开发	测试
Sim-R (餐厅)	价格_范围, 位置, 餐厅_名称,<br>类别, 人数, 日期, 时间	1116	349	775
Sim-M (电影)	剧院_名称, 电影, 日期, 时间,<br>人数	384	120	264
Sim-GEN (电影)	剧院_名称, 电影, 日期, 时间,<br>人数	100K	10K	10K

• 语义标注: 槽
• 下载: 链接

cam MultiWOZ 2.0/2.1

• 多轮: 人人对话以WOZ (Wizard-of-Oz)方式收集;
• 输入句子: 自然语言;
• 数据大小: 有3,406个单领域对话，包括如果领域允许的预订，以及7,032个多领域对话，包括至少2个到5个领域。
• 语义标注: 对话状态 (槽-值对)
• 下载: 链接

maluuba Frames

• 多轮: 人人对话以WOZ (Wizard-of-Oz)方式收集;
• 输入句子: 自然语言;
• 数据大小:
  • 关于旅行。
  • 1369个对话, 19986轮;
  • 链接
• 语义标注: 意图, 对话行为
• 任务: NLU (意图分类, 槽标记), DST (槽-值对)
• 下载: 链接

Microsoft Dialogue Challenge

• 多轮:
  • 通过Amazon Mechanical Turk收集的人人对话;
  • 提供内置用户模拟器;
• 输入句子: 自然语言;
• 数据大小:

任务	意图	槽	对话
电影票预订	11	29	2890
餐厅预订	11	30	4103
出租车订购	11	29	3094

• 语义标注: 对话行为
• 任务: NLU (槽标记)
• 下载: 链接

搜集汇总

数据集介绍

构建方式

该数据集的构建基于任务导向对话系统中的自然语言理解（NLU）和对话状态跟踪（DST）任务。数据集涵盖了多个领域，如航班预订、餐厅推荐、电影查询等，通过单轮和多轮对话的形式收集了大量自然语言数据。数据来源包括人工转录、自动语音识别（ASR）输出以及模拟用户对话。每个数据集均经过详细的语义标注，包括意图分类、槽位标注和对话行为识别，确保了数据的多样性和丰富性。

特点

该数据集的特点在于其广泛覆盖的领域和多样化的对话形式。数据集不仅包含单轮对话，还涵盖了多轮对话，能够更好地模拟真实场景中的对话流程。语义标注的精细程度较高，包括意图、槽位、对话行为等多个层次，为研究者提供了丰富的实验数据。此外，部分数据集还支持跨领域对话和多语言处理，进一步扩展了其应用范围。数据集的规模较大，训练集、开发集和测试集划分明确，便于模型训练和评估。

使用方法

该数据集的使用方法主要围绕自然语言理解和对话状态跟踪任务展开。研究者可以通过加载数据集，进行意图分类、槽位标注和对话行为识别等任务的训练和测试。数据集提供了详细的语义标注信息，便于构建和评估语义解析模型。对于多轮对话数据集，研究者还可以利用上下文信息进行对话状态跟踪和生成。此外，数据集支持多种编程语言和框架，如Python和PyTorch，便于快速实现和验证算法。通过结合相关论文和开源实现，研究者可以进一步探索任务导向对话系统的最新技术。

背景与挑战

背景概述

ATIS、SNIPS等数据集是自然语言理解（NLU）和对话状态跟踪（DST）领域的重要资源，广泛应用于任务导向型对话系统的研究中。这些数据集由多个研究机构和公司开发，如MIT、Facebook、Snips等，涵盖了航班预订、餐厅推荐、电影查询等多个领域。ATIS数据集最早由DARPA资助开发，专注于航班信息查询，而SNIPS数据集则由Snips公司发布，支持多领域的意图识别和槽位填充任务。这些数据集的出现极大地推动了任务导向型对话系统的发展，为研究者提供了丰富的实验数据，促进了意图检测、槽位填充等核心技术的进步。

当前挑战

尽管这些数据集在任务导向型对话系统中发挥了重要作用，但仍面临诸多挑战。首先，意图识别和槽位填充任务在处理复杂、多轮对话时，往往难以准确捕捉上下文信息，导致模型性能下降。其次，数据集的构建过程中，语义标注的准确性和一致性是一个难题，尤其是在多语言、多领域场景下，标注的复杂性显著增加。此外，数据集的规模和质量也限制了模型的泛化能力，特别是在面对未见过的领域或语言时，模型的鲁棒性较差。最后，如何有效整合多轮对话中的历史信息，进一步提升对话系统的理解能力，仍是一个亟待解决的问题。

常用场景

经典使用场景

ATIS数据集在自然语言理解（NLU）领域中被广泛用于意图分类和槽位填充任务。该数据集包含用户查询航班信息的单轮对话，涵盖了18种意图和83个槽位，为研究者提供了一个标准化的基准，用于评估和比较不同模型的性能。通过ATIS数据集，研究者能够深入探索如何从自然语言中提取结构化信息，进而提升对话系统的理解能力。

衍生相关工作

ATIS数据集催生了许多经典的研究工作，特别是在联合训练槽位填充和意图检测的模型上。例如，研究者提出了基于注意力机制的联合模型，显著提升了任务导向型对话系统的性能。此外，ATIS数据集还被用于评估跨领域迁移学习的效果，推动了对话系统在不同应用场景中的泛化能力。

数据集最近研究

最新研究方向

在任务导向对话系统中，自然语言理解（NLU）和对话状态跟踪（DST）的研究正逐步向多语言、多领域和少样本学习方向发展。近年来，Facebook多语言任务导向数据集和FewJoint等数据集的引入，为跨语言和跨领域的NLU研究提供了新的实验平台。特别是在多语言环境下，如何有效处理语义解析和意图检测成为研究热点。此外，少样本学习在任务导向对话中的应用也逐渐受到关注，FewJoint数据集通过提供多领域的少样本任务，推动了模型在有限数据下的泛化能力。这些研究不仅提升了对话系统的智能化水平，也为实际应用场景中的多语言支持和跨领域适应提供了理论和技术支持。