NLU++

NLU++是一个专为自然语言理解（NLU）在任务导向对话（ToD）系统中设计的新型数据集，旨在提供一个更具挑战性的评估环境。该数据集分为BANKING和HOTELS两个领域，引入了细粒度的领域本体和多意图句子，支持意图模块的组合，以传达复杂的用户目标。NLU++的本体设计灵感来源于工业ToD系统中观察到的问题，并由对话NLU专家精心收集、筛选和标注，确保了高质量的标注数据。数据集的应用领域主要集中在提高ToD NLU模型的性能，尤其是在数据稀缺的情况下，推动了意图模块化等概念的验证和进一步研究。

NLU++ is a novel dataset specifically designed for natural language understanding (NLU) in task-oriented dialogue (ToD) systems, aiming to provide a more challenging evaluation environment. The dataset is divided into two domains: BANKING and HOTELS. It introduces fine-grained domain ontologies and multi-intent utterances, supporting the composition of intent modules to convey complex user goals. The ontology design of NLU++ is inspired by issues observed in industrial ToD systems, and it has been carefully collected, filtered and annotated by conversational NLU experts to ensure high-quality annotated data. The primary application of this dataset is to enhance the performance of ToD NLU models, especially under data-scarce conditions, and it promotes the validation and further research of concepts such as intent modularization.

原始信息汇总

数据集概述

数据集列表

• Banking: 包含在线银行查询及其对应的意图标注。
• Span Extraction: 用于SpanConvert论文的数据集。
• NLU++: 用于对话NLU模型的挑战性评估环境，涉及多领域、多标签意图和槽位。
• EVI: 用于基于知识的口语对话系统中的注册、识别和识别的多语言数据集。

Banking 数据集

数据集统计

• 训练样本: 10003
• 测试样本: 3080
• 意图数量: 77

示例查询

示例查询	意图
Is there a way to know when my card will arrive?	card_arrival
I think my card is broken	card_not_working
I made a mistake and need to cancel a transaction	cancel_transfer
Is my card usable anywhere?	card_acceptance

引用

当使用Banking数据集时，请引用以下论文： bibtex @inproceedings{Casanueva2020, author = {I{~{n}}igo Casanueva and Tadas Temcinas and Daniela Gerz and Matthew Henderson and Ivan Vulic}, title = {Efficient Intent Detection with Dual Sentence Encoders}, year = {2020}, month = {mar}, note = {Data available at https://github.com/PolyAI-LDN/task-specific-datasets}, url = {https://arxiv.org/abs/2003.04807}, booktitle = {Proceedings of the 2nd Workshop on NLP for ConvAI - ACL 2020} }

Span Extraction 数据集

数据结构

数据集包含以下文件结构：

span_extraction/restaurant8k

test.json train_0.json train_1.json train_2.json ...

其中：

• test.json 包含评估样本
• train_0.json 包含所有训练样本
• train_{i}.json 包含 1/(2^i) 的训练数据

示例

json { "userInput": { "text": "I would like a table for one person" }, "labels": [ { "slot": "people", "valueSpan": { "startIndex": 25, "endIndex": 35 } } ] }

引用

当使用Span Extraction数据集时，请引用以下论文： bibtex @inproceedings{CoopeFarghly2020, Author = {Sam Coope and Tyler Farghly and Daniela Gerz and Ivan Vulić and Matthew Henderson}, Title = {Span-ConveRT: Few-shot Span Extraction for Dialog with Pretrained Conversational Representations}, Year = {2020}, url = {https://arxiv.org/abs/2005.08866}, publisher = {ACL}, }

许可证

本仓库中的数据集遵循LICENSE文件中的许可证。

搜集汇总

数据集介绍

构建方式

在面向任务对话系统领域，自然语言理解模块的评估亟需更贴近工业实践的数据资源。NLU++数据集的构建过程体现了对数据质量的高度重视，摒弃了传统众包模式，转而由四位具备对话系统与自然语言处理专业知识的专家进行全流程的数据收集、标注与校正。构建伊始，研究团队为银行与酒店两个领域设计了精细的本体结构，随后对真实用户语句进行匿名化处理并依据新本体重新标注。为覆盖低频意图与槽位，专家进一步人工构造了语义多样、意图组合复杂的例句，确保了数据在真实场景下的代表性与挑战性。

使用方法

NLU++数据集为面向任务对话中自然语言理解的研究提供了多维度的评估框架。研究者可利用其进行意图检测与槽位填充任务的单独或联合评估，尤其适合探索低资源场景下的模型性能。数据集支持单领域（银行或酒店）、双领域合并以及跨领域的实验设置，便于分析模型在数据稀缺时的表现及领域适应性。其提供的模块化意图标注使得研究可深入探讨意图组合的泛化能力。此外，数据集附带了经过问题转换的格式，可直接用于训练和评估基于问答范式的自然语言理解模型，为比较不同建模范式提供了统一平台。

背景与挑战

背景概述

NLU++数据集由PolyAI Limited的研究团队于2022年提出，旨在为面向任务的对话系统提供更具挑战性的自然语言理解评估环境。该数据集聚焦于银行业与酒店服务两大领域，其核心创新在于引入了模块化意图设计，将复杂用户目标分解为可组合的意图模块，并融合细粒度槽位标注。相较于传统数据集，NLU++强调多意图语句的天然复杂性，通过专家标注确保了数据的高质量与语义多样性，从而更贴近工业场景的实际需求，推动了对话系统在低数据资源下的泛化能力研究。

当前挑战

NLU++所针对的领域挑战在于解决面向任务对话中多意图联合检测与细粒度槽位填充的复杂性，传统单意图假设难以应对真实场景中用户表达的复合目标。构建过程中的挑战主要体现在：其一，设计兼具领域特定性与通用性的模块化意图体系，以平衡标注成本与数据可复用性；其二，确保多意图语句的自然性与语义多样性，避免合成数据的简单拼接；其三，在专家标注框架下维持标注一致性，尤其在处理边界模糊的通用意图时需克服主观歧义。

常用场景

经典使用场景

在面向任务的对话系统研究中，NLU++数据集常被用于评估自然语言理解模型在复杂多意图场景下的性能。该数据集通过引入意图模块化设计，支持多标签意图检测与细粒度槽位填充的联合建模，为研究者提供了模拟真实工业环境中用户表达复杂需求的测试平台。其精心构建的银行与酒店领域语料，结合领域特定与通用意图模块，使得模型能够在低数据资源条件下进行跨领域泛化能力验证。

解决学术问题

NLU++有效解决了传统NLU数据集中存在的单意图假设局限、领域数据不可复用以及语义多样性不足等学术问题。通过模块化意图标注体系，该数据集支持对组合意图的识别研究，促进了模型对未见意图组合的泛化能力。其高质量专家标注数据减少了标注噪声干扰，为低资源场景下的模型鲁棒性评估提供了可靠基准，推动了对话理解任务向更贴近实际应用复杂度的方向发展。

实际应用

在工业级对话系统开发中，NLU++可直接应用于银行客服与酒店服务等垂直领域的智能助手训练。其多意图标注机制能够准确解析用户包含多个操作请求的复合语句，如“我想修改周四的泳池预约并询问退房时间”。领域通用意图模块的设计显著降低了新业务场景的数据标注成本，支持企业快速构建可处理复杂交互的专业对话系统，提升自动化服务效率与用户体验。

数据集最近研究

最新研究方向

在面向任务的对话系统领域，NLU++数据集正推动自然语言理解研究向多标签意图检测与低资源场景下的高效建模聚焦。该数据集通过引入模块化意图设计，将复杂用户目标分解为可组合的意图模块，促进了跨领域数据复用与泛化能力研究。前沿探索集中在基于问答范式的模型架构上，此类方法通过将意图检测与槽位填充重构为问答任务，在低数据条件下展现出显著性能优势，尤其凸显了提示工程与预训练语言模型结合在对话理解中的潜力。同时，数据集的高质量专家标注与丰富语义变体为联合意图-槽位模型的鲁棒性评估提供了新基准，引导学界关注产业环境中实际面临的复杂多意图解析与数据稀缺挑战。

相关研究论文

• NLU++: A Multi-Label, Slot-Rich, Generalisable Dataset for Natural Language Understanding in Task-Oriented Dialogue

  PolyAI Limited 伦敦，英国 · 2022年