benayas/massive_llm_v4

该数据集包含多个特征字段，如id、locale、partition、scenario、intent、utt、annot_utt、worker_id、slot_method、judgments、category和text。其中scenario和intent字段是分类标签，分别有18和60个类别。数据集分为train、validation和test三个部分，分别包含11514、2033和2974个样本。

本数据集包含多类特征字段，具体包括id、locale、partition、场景（scenario）、意图（intent）、话语（utterance，简称utt）、标注话语（annotated utterance，简称annot_utt）、标注者ID（worker_id）、槽位方法（slot_method）、评判结果（judgments）、类别（category）与text。其中场景与意图为分类标签，分别涵盖18与60个类别。数据集划分为训练集（train）、验证集（validation）与测试集（test）三个子集，样本数量分别为11514、2033与2974。

原始信息汇总

数据集概述

数据集特征

• id: 字符串类型
• locale: 字符串类型
• partition: 字符串类型
• scenario: 分类标签类型，包含以下类别：
  • social
  • transport
  • calendar
  • play
  • news
  • datetime
  • recommendation
  • email
  • iot
  • general
  • audio
  • lists
  • qa
  • cooking
  • takeaway
  • music
  • alarm
  • weather
• intent: 分类标签类型，包含以下意图：
  • datetime_query
  • iot_hue_lightchange
  • transport_ticket
  • takeaway_query
  • qa_stock
  • general_greet
  • recommendation_events
  • music_dislikeness
  • iot_wemo_off
  • cooking_recipe
  • qa_currency
  • transport_traffic
  • general_quirky
  • weather_query
  • audio_volume_up
  • email_addcontact
  • takeaway_order
  • email_querycontact
  • iot_hue_lightup
  • recommendation_locations
  • play_audiobook
  • lists_createoradd
  • news_query
  • alarm_query
  • iot_wemo_on
  • general_joke
  • qa_definition
  • social_query
  • music_settings
  • audio_volume_other
  • calendar_remove
  • iot_hue_lightdim
  • calendar_query
  • email_sendemail
  • iot_cleaning
  • audio_volume_down
  • play_radio
  • cooking_query
  • datetime_convert
  • qa_maths
  • iot_hue_lightoff
  • iot_hue_lighton
  • transport_query
  • music_likeness
  • email_query
  • play_music
  • audio_volume_mute
  • social_post
  • alarm_set
  • qa_factoid
  • calendar_set
  • play_game
  • alarm_remove
  • lists_remove
  • transport_taxi
  • recommendation_movies
  • iot_coffee
  • music_query
  • play_podcasts
  • lists_query
• utt: 字符串类型
• annot_utt: 字符串类型
• worker_id: 字符串类型
• slot_method: 序列类型，包含以下子特征：
  • slot: 字符串类型
  • method: 字符串类型
• judgments: 序列类型，包含以下子特征：
  • worker_id: 字符串类型
  • intent_score: 8位整数类型
  • slots_score: 8位整数类型
  • grammar_score: 8位整数类型
  • spelling_score: 8位整数类型
  • language_identification: 字符串类型
• category: 字符串类型
• text: 字符串类型

数据集分割

• train: 包含11514个样本，占用17839343字节
• validation: 包含2033个样本，占用3144099字节
• test: 包含2974个样本，占用4598528字节

数据集大小

• 下载大小: 2975271字节
• 数据集大小: 25581970字节

配置

• default: 包含以下数据文件路径：
  • train: data/train-*
  • validation: data/validation-*
  • test: data/test-*

搜集汇总

数据集介绍

构建方式

在自然语言处理与任务型对话系统的交汇领域，数据集 benayas/massive_llm_v4 应运而生。该数据集基于大规模多领域意图分类与槽位填充任务构建，数据来源于众包平台，经由多轮人工标注与质量审核形成。其构建过程首先定义了涵盖社交、交通、日历、娱乐等17个场景的层次化意图体系，并细化为60种具体意图类别。每条样本包含原始用户话语（utt）与规范化注释文本（annot_utt），同时标注了槽位（slot）及其填充方法（method），确保语义结构的完整性。数据集进一步通过工作流对每一条样本进行多维度的评判（judgments），包括意图、槽位、语法与拼写评分，并引入语言识别字段以支持多语言泛化。最终，数据被划分为训练集（11514条）、验证集（2033条）与测试集（2974条），形成标准化的监督学习基准。

特点

该数据集最显著的特点在于其细粒度的任务导向设计与多维度的质量保障机制。相较于传统任务型数据集，benayas/massive_llm_v4 覆盖了从智能家居控制（如iot_hue_lightchange）到金融查询（如qa_currency）的广泛场景，意图类别粒度精细，支持复杂对话逻辑的建模。每条样本不仅提供话语与意图标签，还包含槽位-方法配对结构，便于开展联合意图分类与语义解析。尤为突出的是，数据集引入了由多名标注员独立评分的评判系统，从意图一致性、槽位准确性、语法规范性与拼写正确性四个维度量化数据质量，并辅以语言识别字段，有效支撑跨语言场景的鲁棒性研究。此外，数据集中包含的类别字段（category）与标准化文本字段（text）进一步增强了其在多任务学习与迁移学习场景中的适用性。

使用方法

使用者可通过 Hugging Face Datasets 库便捷加载该数据集，指定配置名 'default' 即可获取训练、验证与测试三个标准分片。在模型训练阶段，建议将 'utt' 字段作为输入文本，'intent' 字段作为分类目标，而 'slot_method' 序列结构则适用于序列标注或槽位填充任务。对于需要多任务学习或质量感知训练的场景，可充分利用 'judgments' 字段中的评分信息，例如将 'intent_score' 与 'slots_score' 作为样本权重或辅助监督信号。数据集中 'annot_utt' 字段提供了规范化后的指令形式，适合用于大语言模型的指令微调；而 'locale' 与 'partition' 字段则支持按语言区域或数据划分进行子集筛选。推荐在加载时使用 'split' 参数指定数据子集，并结合 'select' 方法进行随机采样或平衡类别分布，以适配不同研究需求。

背景与挑战

背景概述

随着大规模语言模型在自然语言处理领域的迅猛发展，面向任务型对话系统的多语种、多场景语义解析成为研究热点。benayas/massive_llm_v4数据集由相关研究机构于近年创建，旨在覆盖社交、交通、日历、音乐、物联网等18个典型应用场景，包含60种细粒度意图类别和丰富的槽位标注。该数据集不仅聚焦于跨语言对话理解的核心问题，还通过引入多轮人工审核与评分机制，提升了标注质量与语言多样性。其发布为多语种任务型对话系统的训练与评估提供了重要基准，推动了跨语言语义泛化与领域迁移研究的发展。

当前挑战

该数据集面临的主要挑战包括：首先，在领域问题层面，如何实现跨18个场景、60种意图的精准语义解析，尤其是处理意图间的细粒度区分与槽位依赖关系，仍是当前任务型对话系统的核心难题。其次，在构建过程中，多语种数据收集与标注的一致性问题显著，不同语言背景下意图与槽位映射的歧义性增加了标注难度。此外，确保各场景数据分布的平衡性以及人工评分标准的主观差异，也对数据集的鲁棒性和通用性构成了挑战。

常用场景

经典使用场景

在自然语言理解与对话系统的研究前沿，benayas/massive_llm_v4数据集通过涵盖17种场景与60种意图的精细标注，为多领域任务型对话建模提供了经典基准。该数据集最广泛的应用在于训练和评估面向智能助手的意图分类与槽位填充联合模型，其丰富的场景如天气查询、音乐播放、智能家居控制等，使得研究者能够系统性地探索跨域泛化能力与少样本学习策略。

实际应用

在实际应用中，该数据集驱动的模型被广泛部署于智能语音助手、车载交互系统及智能家居控制平台。例如，基于其标注的'iot_hue_lightchange'与'transport_taxi'等意图，开发者能够精准实现灯光调节、交通查询等指令解析。这些应用极大地优化了人机交互的自然度与效率，使用户能够通过口语化表达无缝操控复杂设备，从而提升了智能系统的实用性与用户满意度。

衍生相关工作

围绕该数据集衍生了一系列经典工作，包括基于预训练语言模型的跨域意图迁移学习框架、融合知识图谱的槽位增强方法，以及面向低资源场景的元学习对话策略。此外，研究者还利用其多语言特性开发了跨语言对话理解系统，显著提升了非英语环境下的任务完成准确率。这些工作不仅深化了对对话语义结构的理解，也推动了对话AI从实验室走向真实世界的工业化应用。