sonos-nlu-benchmark/snips_built_in_intents

SNIPS自然语言理解基准数据集包含328个英文文本样本，覆盖10个意图类别。该数据集最初用于比较不同语音助手的性能，但也可用于开发和评估文本聊天机器人。数据集的注释由专家生成，数据来源是原始的，未经过分割。

The SNIPS Natural Language Understanding (NLU) benchmark dataset comprises 328 English text samples spanning 10 intent categories. Originally designed to compare the performance of different voice assistants, this dataset can also be used for developing and evaluating text-based chatbots. The annotations of the dataset are generated by experts, and the raw data is original and unsegmented.

原始信息汇总

数据集卡片 for SNIPS Natural Language Understanding benchmark

数据集描述

数据集摘要

SNIPS Natural Language Understanding benchmark 数据集最初用于比较不同的语音助手，并作为公共数据集发布在 https://github.com/sonos/nlu-benchmark 的 2016-12-built-in-intents 文件夹中。该数据集包含 328 个话语，涵盖 10 个意图类别。

支持的任务和排行榜

目前没有相关的共享任务。

语言

英语

数据集结构

数据实例

数据集包含 328 个话语，涵盖 10 个意图类别。每个样本示例如下： {label: 8, text: Transit directions to Barcelona Pizza.}

数据字段

• text: 表达某些用户意图的文本话语。
• label: 文本话语的意图标签。

数据分割

源数据未分割。

数据集创建

策划理由

该数据集最初是为了比较多个语音助手的性能而创建的。然而，这些标记的话语对于开发和基准测试文本聊天机器人也很有用。

源数据

初始数据收集和规范化

数据收集方式不明确。根据 Medium 文章：The benchmark relies on a set of 328 queries built by the business team at Snips, and kept secret from data scientists and engineers throughout the development of the solution.

源语言生产者

最初由 snips.ai 准备。Snips 团队已于 2019 年 11 月加入 Sonos。这些开放数据集仍然可用，其访问现在由 Sonos Voice Experience Team 管理。如有任何问题，请发送电子邮件至 [e-mail]。

注释

注释过程

数据收集方式不明确。根据 Medium 文章：The benchmark relies on a set of 328 queries built by the business team at Snips, and kept secret from data scientists and engineers throughout the development of the solution.

注释者

[更多信息需要]

个人和敏感信息

[更多信息需要]

使用数据的注意事项

数据集的社会影响

[更多信息需要]

偏见的讨论

[更多信息需要]

其他已知限制

[更多信息需要]

附加信息

数据集策展人

最初由 snips.ai 准备。Snips 团队已于 2019 年 11 月加入 Sonos。这些开放数据集仍然可用，其访问现在由 Sonos Voice Experience Team 管理。如有任何问题，请发送电子邮件至 [e-mail]。

许可信息

源数据根据 Creative Commons Zero v1.0 Universal 许可发布。

引用信息

任何基于这些数据集的出版物都必须包含以下论文的完整引用，该论文由 Snips 团队发布： Coucke A. et al., "Snips Voice Platform: an embedded Spoken Language Understanding system for private-by-design voice interfaces." CoRR 2018, https://arxiv.org/abs/1805.10190

贡献

感谢 @bduvenhage 添加此数据集。

搜集汇总

数据集介绍

构建方式

在自然语言理解领域，SNIPS自然语言理解基准数据集以其专业构建方式而著称。该数据集由Snips业务团队精心设计，包含328条英文查询语句，覆盖10种核心意图类别。构建过程中，数据科学家与工程师被隔离于标注流程之外，确保了评估的客观性与独立性。这种构建策略旨在为不同语音助手系统提供公正的性能比较基准，其原始数据经过规范化处理，形成统一的文本-标签对结构，为后续研究奠定了坚实基础。

特点

该数据集在意图分类任务中展现出鲜明的特点。其规模虽小但高度凝练，每条查询均代表特定场景下的用户意图表达，涵盖天气查询、路线导航、餐厅预订等日常交互场景。数据集采用单语种设计，语言风格自然多样，反映了真实对话中的表达变体。作为公开基准，它支持多种评估指标，包括准确率、F1分数等，便于模型性能的全面衡量。这些特征使其成为轻量级自然语言理解系统开发与测试的理想选择。

使用方法

使用该数据集时，研究者可直接通过HuggingFace平台加载，其标准化的文本分类格式便于快速集成到机器学习流程中。数据集未预设训练与测试划分，用户需根据研究需求自行分割，通常采用交叉验证或保留部分数据作为测试集。在模型训练过程中，可结合预训练语言模型进行微调，并利用提供的多维度评估指标进行性能分析。该数据集特别适合用于比较不同意图分类算法的效果，或作为新模型在有限数据场景下的验证工具。

背景与挑战

背景概述

在自然语言理解领域，意图分类作为核心任务之一，旨在从用户话语中准确识别其潜在意图，为智能对话系统提供关键支持。SNIPS Natural Language Understanding benchmark数据集由Snips团队于2016年创建，后随团队并入Sonos公司，由Sonos语音体验团队维护。该数据集聚焦于10类常见内置意图，如查询天气、预订餐厅、请求出行等，共包含328条专家生成的英文话语样本。其设计初衷在于比较不同语音助手的性能，为嵌入式语音接口的私有化设计提供评估基准，相关研究成果发表于2018年的学术论文，推动了轻量级、隐私保护的语音交互系统的发展。

当前挑战

该数据集在意图分类任务中面临领域问题的挑战：样本规模有限，仅328条话语覆盖10个意图类别，可能导致模型训练中的数据稀疏问题，影响泛化能力；类别间可能存在语义重叠，如“SearchPlace”与“GetPlaceDetails”意图的区分需依赖细微语境差异，增加了分类难度。在构建过程中，数据由商业团队秘密创建，缺乏公开的收集与标注流程细节，使得数据来源的透明度和可复现性受限；同时，数据集的单语种（英语）特性也限制了其在多语言环境下的适用性。

常用场景

经典使用场景

在自然语言理解领域，SNIPS数据集常被用作意图分类任务的基准测试工具。该数据集涵盖了10种常见的用户意图，如查询天气、预订餐厅、获取路线等，这些意图广泛存在于智能语音助手和对话系统中。研究者利用其精心标注的328条英文语句，评估不同模型在有限数据下的泛化能力和准确性，为算法比较提供了标准化的实验环境。

解决学术问题

该数据集有效解决了自然语言理解中意图识别模型的评估难题。通过提供高质量、多样化的意图标注数据，它帮助学术界克服了早期研究中数据稀缺和标注不一致的障碍。其存在促进了模型鲁棒性、小样本学习以及跨领域迁移等关键问题的探索，为语音接口的私有化设计研究奠定了数据基础，推动了嵌入式对话系统的发展。

衍生相关工作

围绕SNIPS数据集，衍生了一系列经典的学术与工程工作。其中，Snips团队发表的论文《Snips Voice Platform: an embedded Spoken Language Understanding system for private-by-design voice interfaces》系统阐述了其语音平台的构建理念。后续研究多以此数据集为基准，比较不同神经网络架构在意图分类上的效能，并催生了针对小规模标注数据的增强方法与迁移学习策略，持续影响着对话式AI的技术演进。