fathyshalab/massive_qa-de-DE

--- dataset_info: features: - name: id dtype: string - name: locale dtype: string - name: partition dtype: string - name: scenario dtype: class_label: names: '0': social '1': transport '2': calendar '3': play '4': news '5': datetime '6': recommendation '7': email '8': iot '9': general '10': audio '11': lists '12': qa '13': cooking '14': takeaway '15': music '16': alarm '17': weather - name: intent dtype: class_label: names: '0': datetime_query '1': iot_hue_lightchange '2': transport_ticket '3': takeaway_query '4': qa_stock '5': general_greet '6': recommendation_events '7': music_dislikeness '8': iot_wemo_off '9': cooking_recipe '10': qa_currency '11': transport_traffic '12': general_quirky '13': weather_query '14': audio_volume_up '15': email_addcontact '16': takeaway_order '17': email_querycontact '18': iot_hue_lightup '19': recommendation_locations '20': play_audiobook '21': lists_createoradd '22': news_query '23': alarm_query '24': iot_wemo_on '25': general_joke '26': qa_definition '27': social_query '28': music_settings '29': audio_volume_other '30': calendar_remove '31': iot_hue_lightdim '32': calendar_query '33': email_sendemail '34': iot_cleaning '35': audio_volume_down '36': play_radio '37': cooking_query '38': datetime_convert '39': qa_maths '40': iot_hue_lightoff '41': iot_hue_lighton '42': transport_query '43': music_likeness '44': email_query '45': play_music '46': audio_volume_mute '47': social_post '48': alarm_set '49': qa_factoid '50': calendar_set '51': play_game '52': alarm_remove '53': lists_remove '54': transport_taxi '55': recommendation_movies '56': iot_coffee '57': music_query '58': play_podcasts '59': lists_query - name: text dtype: string - name: annot_utt dtype: string - name: worker_id dtype: string - name: slot_method sequence: - name: slot dtype: string - name: method dtype: string - name: judgments sequence: - name: worker_id dtype: string - name: intent_score dtype: int8 - name: slots_score dtype: int8 - name: grammar_score dtype: int8 - name: spelling_score dtype: int8 - name: language_identification dtype: string - name: label_name dtype: string - name: label dtype: int64 splits: - name: train num_bytes: 329537 num_examples: 1183 - name: validation num_bytes: 59481 num_examples: 214 - name: test num_bytes: 79960 num_examples: 288 download_size: 141433 dataset_size: 468978 --- # Dataset Card for "massive_qa-de-DE" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)数据集信息： 特征字段： - 名称：id，数据类型：字符串 - 名称：区域设置（locale），数据类型：字符串 - 名称：数据划分（partition），数据类型：字符串 - 名称：场景（scenario），数据类型：类别标签（class_label），其类别映射如下： '0': 社交（social） '1': 交通（transport） '2': 日历（calendar） '3': 娱乐（play） '4': 新闻（news） '5': 日期时间（datetime） '6': 推荐（recommendation） '7': 邮件（email） '8': 物联网（IoT） '9': 通用（general） '10': 音频（audio） '11': 列表（lists） '12': 问答（qa） '13': 烹饪（cooking） '14': 外卖（takeaway） '15': 音乐（music） '16': 闹钟（alarm） '17': 天气（weather） - 名称：意图（intent），数据类型：类别标签（class_label），其类别映射如下： '0': 日期时间查询（datetime_query） '1': 物联网飞利浦Hue灯光调节（iot_hue_lightchange） '2': 交通票务查询（transport_ticket） '3': 外卖咨询（takeaway_query） '4': 问答-库存查询（qa_stock） '5': 通用问候（general_greet） '6': 活动推荐（recommendation_events） '7': 音乐厌恶表达（music_dislikeness） '8': 物联网Wemo设备关闭（iot_wemo_off） '9': 烹饪食谱查询（cooking_recipe） '10': 问答-货币查询（qa_currency） '11': 交通路况查询（transport_traffic） '12': 通用戏谑提问（general_quirky） '13': 天气查询（weather_query） '14': 音频音量上调（audio_volume_up） '15': 邮件-添加联系人（email_addcontact） '16': 外卖下单（takeaway_order） '17': 邮件-查询联系人（email_querycontact） '18': 物联网飞利浦Hue灯光点亮（iot_hue_lightup） '19': 地点推荐（recommendation_locations） '20': 有声书播放（play_audiobook） '21': 列表创建/添加（lists_createoradd） '22': 新闻查询（news_query） '23': 闹钟查询（alarm_query） '24': 物联网Wemo设备开启（iot_wemo_on） '25': 通用笑话请求（general_joke） '26': 问答-定义查询（qa_definition） '27': 社交咨询（social_query） '28': 音乐设置调整（music_settings） '29': 音频其他音量操作（audio_volume_other） '30': 日历事件删除（calendar_remove） '31': 物联网飞利浦Hue灯光调暗（iot_hue_lightdim） '32': 日历查询（calendar_query） '33': 邮件-发送邮件（email_sendemail） '34': 物联网清洁设备控制（iot_cleaning） '35': 音频音量下调（audio_volume_down） '36': 电台播放（play_radio） '37': 烹饪咨询（cooking_query） '38': 日期时间转换（datetime_convert） '39': 问答-数学计算（qa_maths） '40': 物联网飞利浦Hue灯光关闭（iot_hue_lightoff） '41': 物联网飞利浦Hue灯光开启（iot_hue_lighton） '42': 交通查询（transport_query） '43': 音乐喜爱表达（music_likeness） '44': 邮件查询（email_query） '45': 音乐播放（play_music） '46': 音频音量静音（audio_volume_mute） '47': 社交发帖（social_post） '48': 闹钟设置（alarm_set） '49': 问答-事实性查询（qa_factoid） '50': 日历事件设置（calendar_set） '51': 游戏游玩（play_game） '52': 闹钟删除（alarm_remove） '53': 列表删除（lists_remove） '54': 交通打车请求（transport_taxi） '55': 电影推荐（recommendation_movies） '56': 物联网咖啡机控制（iot_coffee） '57': 音乐查询（music_query） '58': 播客播放（play_podcasts） '59': 列表查询（lists_query） - 名称：文本（text），数据类型：字符串 - 名称：标注会话（annot_utt），数据类型：字符串 - 名称：标注者标识符（worker_id），数据类型：字符串 - 名称：槽位-方法（slot_method），数据类型为序列类型，包含两个子字段： - 槽位（slot）：数据类型为字符串 - 方法（method）：数据类型为字符串 - 名称：标注评判（judgments），数据类型为序列类型，包含以下子字段： - 标注者标识符（worker_id）：数据类型为字符串 - 意图评分（intent_score）：数据类型为8位有符号整数（int8） - 槽位评分（slots_score）：数据类型为8位有符号整数（int8） - 语法评分（grammar_score）：数据类型为8位有符号整数（int8） - 拼写评分（spelling_score）：数据类型为8位有符号整数（int8） - 语言标识（language_identification）：数据类型为字符串 - 名称：标签名称（label_name），数据类型：字符串 - 名称：标签（label）：数据类型为64位整数（int64） 数据划分： - 训练集（train）：占用字节数329537，样本数量1183 - 验证集（validation）：占用字节数59481，样本数量214 - 测试集（test）：占用字节数79960，样本数量288 下载大小：141433字节 数据集总大小：468978字节 # 数据集卡片："massive_qa-de-DE" 【如需更多信息，请参阅】https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards

原始信息汇总

数据集概述

数据集特征

• id: 字符串类型
• locale: 字符串类型
• partition: 字符串类型
• scenario: 分类标签，包括：social, transport, calendar, play, news, datetime, recommendation, email, iot, general, audio, lists, qa, cooking, takeaway, music, alarm, weather
• intent: 分类标签，包括：datetime_query, iot_hue_lightchange, transport_ticket, takeaway_query, qa_stock, general_greet, recommendation_events, music_dislikeness, iot_wemo_off, cooking_recipe, qa_currency, transport_traffic, general_quirky, weather_query, audio_volume_up, email_addcontact, takeaway_order, email_querycontact, iot_hue_lightup, recommendation_locations, play_audiobook, lists_createoradd, news_query, alarm_query, iot_wemo_on, general_joke, qa_definition, social_query, music_settings, audio_volume_other, calendar_remove, iot_hue_lightdim, calendar_query, email_sendemail, iot_cleaning, audio_volume_down, play_radio, cooking_query, datetime_convert, qa_maths, iot_hue_lightoff, iot_hue_lighton, transport_query, music_likeness, email_query, play_music, audio_volume_mute, social_post, alarm_set, qa_factoid, calendar_set, play_game, alarm_remove, lists_remove, transport_taxi, recommendation_movies, iot_coffee, music_query, play_podcasts, lists_query
• text: 字符串类型
• annot_utt: 字符串类型
• worker_id: 字符串类型
• slot_method: 序列类型，包含slot和method，均为字符串类型
• judgments: 序列类型，包含worker_id（字符串类型），intent_score（int8类型），slots_score（int8类型），grammar_score（int8类型），spelling_score（int8类型），language_identification（字符串类型）
• label_name: 字符串类型
• label: int64类型

数据集分割

• train: 1183个样本，占用329537字节
• validation: 214个样本，占用59481字节
• test: 288个样本，占用79960字节

数据集大小

• 下载大小: 141433字节
• 数据集总大小: 468978字节

搜集汇总

数据集介绍

构建方式

该数据集源自MASSIVE项目，聚焦于德语（de-DE）区域的问答场景构建。其数据通过众包平台收集，由标注人员根据预设的57种意图类别（如天气查询、音乐控制、邮件管理等）和18种场景（如社交、交通、日历等）生成自然语言查询。每条样本包含文本、标注后的语句、槽位与方法信息，并附有多维度质量评分（意图、槽位、语法、拼写及语言识别），确保数据的高质量和一致性。数据集划分为训练集（1183条）、验证集（214条）和测试集（288条），结构严谨，适用于多语言自然语言理解研究。

特点

该数据集的核心特点在于其精细化的意图与场景分类体系，覆盖了从日常社交到智能家居控制的广泛领域，为多任务学习提供了丰富素材。每条数据不仅包含原始文本和标注语句，还记录了槽位填充方法和多个标注者的独立判断分数，支持对模型进行多维度评估。此外，德语区域特有的语言表达和语境设计，使其在跨语言迁移学习中具有独特价值。数据集的规模虽小，但样本质量经过严格审核，减少了噪声干扰，适合用于小样本学习或模型微调。

使用方法

该数据集可直接用于自然语言理解任务的模型训练与评估，尤其适用于意图识别和槽位填充的联合建模。用户可通过HuggingFace datasets库加载数据，利用预定义的分类标签（如intent和scenario）进行监督学习。建议结合德语预训练语言模型（如BERT-based German models）进行微调，以充分发挥语言特异性优势。在评估时，可参考judgments字段中的评分数据，对模型输出进行细粒度分析。同时，数据集的划分明确，便于标准化实验对比，也支持自定义交叉验证策略以提升模型泛化能力。

背景与挑战

背景概述

在自然语言处理领域，任务型对话系统是人工智能与用户交互的核心技术之一，其性能高度依赖于高质量、多语种的标注数据集。fathyshalab/massive_qa-de-DE数据集由研究人员基于MASSIVE语料库构建，专注于德语（de-DE）区域的问答与对话场景，于近年发布以弥补非英语任务型对话资源的匮乏。该数据集涵盖17种场景和60种意图，如天气查询、音乐播放、智能家居控制等，旨在推动多语言对话理解与槽位填充的研究。其影响力体现在为跨语言对话系统评估提供了标准基准，尤其服务于德语语音助手和智能交互应用的开发，助力全球化AI部署的本地化适配。

当前挑战

该数据集面临的挑战主要体现在两方面。在领域问题层面，任务型对话系统需处理意图识别与槽位填充的联合建模，而德语复杂的语法结构（如名词性别、动词变位）和长尾意图分布增加了模型泛化难度；同时，多语言场景下跨域迁移和零样本学习能力仍是瓶颈。在构建过程中，数据收集依赖人工标注，涉及场景覆盖的平衡性、标注一致性（如意图与槽位的对应关系）以及多轮对话上下文连贯性等问题；此外，德语区域特有的文化表达和口语化变体（如方言）对标注质量与数据规模构成额外约束，限制了数据集在真实场景中的鲁棒性。

常用场景

经典使用场景

MASSIVE_QA-de-DE数据集是面向德语语音助手领域的多意图自然语言理解基准，其经典使用场景聚焦于跨领域意图分类与槽位填充联合任务。该数据集涵盖17个生活场景（如社交、交通、日历、音乐等）及60种细粒度意图，通过人工标注的德语用户查询文本，为多任务学习提供了高质量的训练与评估样本。研究者常利用该数据集训练端到端模型，以同时识别用户指令中的意图类别并提取关键语义槽位，从而模拟真实语音助手的语言理解流程。

实际应用

在实际应用中，该数据集直接服务于德语智能语音助手的开发与优化。例如，智能家居场景下的设备控制（如灯光调节、咖啡机操作）、生活服务类查询（天气、交通、餐饮外卖）以及娱乐互动（音乐播放、游戏）等，均可利用该数据集训练的模型实现精准的意图识别与槽位填充。企业可基于此构建多轮对话系统，提升德语用户在人机交互中的自然度与任务完成效率。

衍生相关工作

该数据集衍生出多项经典工作，包括基于预训练语言模型（如XLM-R、mBERT）的跨语言意图分类研究、联合注意力机制的槽位填充方法，以及面向低资源场景的数据增强策略。此外，研究者还以此为基础探索了对比学习在少样本NLU中的应用、多任务学习的任务均衡优化等方向，这些工作进一步验证了数据集在评估模型泛化性与鲁棒性方面的学术价值。