benayas/massive_llm_v0

---
dataset_info:
features:
- name: id
dtype: string
- name: locale
dtype: string
- name: partition
dtype: string
- name: scenario
dtype:
class_label:
names:
'0': social
'1': transport
'2': calendar
'3': play
'4': news
'5': datetime
'6': recommendation
'7': email
'8': iot
'9': general
'10': audio
'11': lists
'12': qa
'13': cooking
'14': takeaway
'15': music
'16': alarm
'17': weather
- name: intent
dtype:
class_label:
names:
'0': datetime_query
'1': iot_hue_lightchange
'2': transport_ticket
'3': takeaway_query
'4': qa_stock
'5': general_greet
'6': recommendation_events
'7': music_dislikeness
'8': iot_wemo_off
'9': cooking_recipe
'10': qa_currency
'11': transport_traffic
'12': general_quirky
'13': weather_query
'14': audio_volume_up
'15': email_addcontact
'16': takeaway_order
'17': email_querycontact
'18': iot_hue_lightup
'19': recommendation_locations
'20': play_audiobook
'21': lists_createoradd
'22': news_query
'23': alarm_query
'24': iot_wemo_on
'25': general_joke
'26': qa_definition
'27': social_query
'28': music_settings
'29': audio_volume_other
'30': calendar_remove
'31': iot_hue_lightdim
'32': calendar_query
'33': email_sendemail
'34': iot_cleaning
'35': audio_volume_down
'36': play_radio
'37': cooking_query
'38': datetime_convert
'39': qa_maths
'40': iot_hue_lightoff
'41': iot_hue_lighton
'42': transport_query
'43': music_likeness
'44': email_query
'45': play_music
'46': audio_volume_mute
'47': social_post
'48': alarm_set
'49': qa_factoid
'50': calendar_set
'51': play_game
'52': alarm_remove
'53': lists_remove
'54': transport_taxi
'55': recommendation_movies
'56': iot_coffee
'57': music_query
'58': play_podcasts
'59': lists_query
- name: utt
dtype: string
- name: annot_utt
dtype: string
- name: worker_id
dtype: string
- name: slot_method
sequence:
- name: slot
dtype: string
- name: method
dtype: string
- name: judgments
sequence:
- name: worker_id
dtype: string
- name: intent_score
dtype: int8
- name: slots_score
dtype: int8
- name: grammar_score
dtype: int8
- name: spelling_score
dtype: int8
- name: language_identification
dtype: string
- name: category
dtype: string
- name: text
dtype: string
splits:
- name: train
num_bytes: 6371399
num_examples: 11514
- name: validation
num_bytes: 1119231
num_examples: 2033
- name: test
num_bytes: 1636424
num_examples: 2974
download_size: 1813395
dataset_size: 9127054
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
- split: test
path: data/test-*
---

原始信息汇总

数据集信息

特征

• id: 字符串类型
• locale: 字符串类型
• partition: 字符串类型
• scenario: 分类标签类型，包含以下类别：
  • social
  • transport
  • calendar
  • play
  • news
  • datetime
  • recommendation
  • email
  • iot
  • general
  • audio
  • lists
  • qa
  • cooking
  • takeaway
  • music
  • alarm
  • weather
• intent: 分类标签类型，包含以下类别：
  • datetime_query
  • iot_hue_lightchange
  • transport_ticket
  • takeaway_query
  • qa_stock
  • general_greet
  • recommendation_events
  • music_dislikeness
  • iot_wemo_off
  • cooking_recipe
  • qa_currency
  • transport_traffic
  • general_quirky
  • weather_query
  • audio_volume_up
  • email_addcontact
  • takeaway_order
  • email_querycontact
  • iot_hue_lightup
  • recommendation_locations
  • play_audiobook
  • lists_createoradd
  • news_query
  • alarm_query
  • iot_wemo_on
  • general_joke
  • qa_definition
  • social_query
  • music_settings
  • audio_volume_other
  • calendar_remove
  • iot_hue_lightdim
  • calendar_query
  • email_sendemail
  • iot_cleaning
  • audio_volume_down
  • play_radio
  • cooking_query
  • datetime_convert
  • qa_maths
  • iot_hue_lightoff
  • iot_hue_lighton
  • transport_query
  • music_likeness
  • email_query
  • play_music
  • audio_volume_mute
  • social_post
  • alarm_set
  • qa_factoid
  • calendar_set
  • play_game
  • alarm_remove
  • lists_remove
  • transport_taxi
  • recommendation_movies
  • iot_coffee
  • music_query
  • play_podcasts
  • lists_query
• utt: 字符串类型
• annot_utt: 字符串类型
• worker_id: 字符串类型
• slot_method: 序列类型，包含以下子特征：
  • slot: 字符串类型
  • method: 字符串类型
• judgments: 序列类型，包含以下子特征：
  • worker_id: 字符串类型
  • intent_score: 8位整数类型
  • slots_score: 8位整数类型
  • grammar_score: 8位整数类型
  • spelling_score: 8位整数类型
  • language_identification: 字符串类型
• category: 字符串类型
• text: 字符串类型

数据集划分

• train: 包含11514个样本，6371399字节
• validation: 包含2033个样本，1119231字节
• test: 包含2974个样本，1636424字节

数据集大小

• 下载大小: 1813395字节
• 数据集大小: 9127054字节

配置

• default: 包含以下数据文件路径：
  • train: data/train-*
  • validation: data/validation-*
  • test: data/test-*

搜集汇总

数据集介绍

构建方式

在智能语音助手与对话系统蓬勃发展的时代背景下，大规模、高质量的多语言指令数据成为驱动大型语言模型能力提升的关键基石。该数据集以Massive数据集为基础，通过引入人工标注与自动化校验相结合的混合策略进行构建。具体而言，数据采集流程首先由众包工作者根据预定义的场景与意图分类体系生成原始话语，随后经过多轮质量审核，包括对意图识别准确度、槽位填充完整性、语法正确性及拼写规范性的评分，最终筛选出高质量样本。数据集覆盖了社交、交通、日历、音乐、天气等17个核心场景及60种细粒度意图，并包含了多语言标注版本，确保其在跨语言任务中的适用性。

特点

该数据集最显著的特点在于其结构化与多维度的标注体系。每个样本不仅包含原始话语（utt）与注释话语（annot_utt），还详细记录了场景（scenario）、意图（intent）、槽位及对应方法（slot_method），并附有来自多名评判者的质量评分（judgments），涵盖意图、槽位、语法与拼写四个维度。这种精细化的标注设计使得数据集不仅可用于意图分类与槽位填充任务，还能支撑对话质量评估与多任务学习研究。此外，数据集划分了明确的训练集（11,514条）、验证集（2,033条）与测试集（2,974条），为模型训练与性能评估提供了标准化的基准。

使用方法

该数据集可直接通过HuggingFace的datasets库加载，使用默认配置即可获取划分好的train、validation与test三个子集。研究人员可将文本字段（text或utt）作为模型输入，结合场景与意图标签进行监督学习。对于槽位填充任务，可利用slot_method字段中的槽位序列与对应方法进行序列标注训练。数据集中包含的多语言版本与质量评分字段，还可用于构建鲁棒性更强的多任务模型或进行数据筛选实验。推荐在加载时指定trust_remote_code=True以确保兼容性，并依据任务需求选择对应的特征字段进行下游微调。

背景与挑战

背景概述

在自然语言处理领域，任务型对话系统（Task-Oriented Dialogue Systems）一直是人机交互研究的核心方向，其目标在于精准理解用户意图并执行具体操作。benayas/massive_llm_v0数据集由研究团队于近期创建，旨在为大规模语言模型（LLM）驱动的多领域任务型对话提供高质量训练与评估基准。该数据集覆盖了社交、交通、日历、音乐、智能家居（IoT）等18个场景，并细分为60种意图类别，如天气查询、闹钟设置、音乐播放等，充分模拟了现实世界中用户与智能助手的复杂交互场景。通过包含多语言标注（如英语、德语等）及人工审核的评分机制（涵盖意图、槽位、语法、拼写等维度），该数据集显著提升了模型在跨领域、多轮对话中的泛化能力，对推动LLM在智能助手、语音控制等应用中的落地具有重要影响力。

当前挑战

当前，benayas/massive_llm_v0数据集面临的主要挑战集中于领域问题的复杂性与构建过程的精细性。在领域问题层面，任务型对话需同时处理意图识别与槽位填充的联合任务，而该数据集涵盖的18个场景和60种意图导致类别间存在高度相似性（如“音乐喜好”与“音乐设置”），易引发模型混淆；此外，多语言版本的数据增加了跨语言迁移的难度，尤其在低资源语言上表现不稳定。在构建过程中，挑战体现在数据标注的一致性与质量控制上：虽然引入了多维度人工评分（如意图与槽位得分），但不同标注员对同一话语的理解偏差仍难以完全消除；同时，数据集仅包含1.6万条样本，对于需要大规模预训练的LLM而言，样本量相对不足，可能限制模型在罕见意图或场景下的鲁棒性。

常用场景

经典使用场景

在自然语言理解与任务型对话系统研究领域，MASSIVE_LLM_V0数据集以其丰富的多语言、多场景标注而著称。经典使用场景聚焦于跨领域意图识别与槽位填充联合建模，涵盖社交、交通、日历、音乐、智能家居等18个典型生活场景。研究者借助该数据集可构建能够精准理解用户多样化指令的对话模型，例如区分“打开客厅灯”与“调暗卧室灯光”等细微意图差异，并提取相应槽位信息。其结构化标注体系为评估模型在复杂多轮交互中的语义解析能力提供了标准化基准。

衍生相关工作

基于MASSIVE_LLM_V0，学术界涌现出一系列开创性工作。典型如Meta团队提出的mT5多语言对话预训练模型，利用该数据集验证了跨语言知识迁移的有效性。另有研究者开发了基于对比学习的意图解耦框架，通过挖掘数据集中细粒度槽位标签实现零样本意图发现。在工业界，Amazon Alexa团队借鉴其场景分类体系，构建了面向家庭自动化的层次化对话状态追踪模型。这些工作共同推动了任务型对话从单语言、单领域向多语言、跨场景的演进，成为现代对话AI研究的重要基石。

数据集最近研究

最新研究方向

随着大语言模型在任务型对话系统中的广泛应用，如何精准理解用户意图并完成跨领域、多轮交互的语义解析成为前沿热点。benayas/massive_llm_v0数据集覆盖了社交、交通、日历、音乐、物联网等17个场景与60种意图类别，为研究多领域、细粒度的意图识别与槽位填充提供了丰富语料。近期研究聚焦于利用该数据集训练统一的多任务模型，探索零样本与少样本迁移学习能力，以应对现实世界中动态变化的用户需求。此外，该数据集在评估大模型对复杂指令的理解与执行能力方面具有重要价值，推动了任务型对话系统从封闭域向开放域的演进，对智能助手、智能家居等实际应用场景的落地产生了深远影响。