qmeeus/MSNER

---
dataset_info:
features:
- name: audio_id
dtype: string
- name: language
dtype:
class_label:
names:
'0': en
'1': de
'2': fr
'3': es
'4': pl
'5': it
'6': ro
'7': hu
'8': cs
'9': nl
'10': fi
'11': hr
'12': sk
'13': sl
'14': et
'15': lt
'16': en_accented
- name: audio
dtype:
audio:
sampling_rate: 16000
- name: sentence
dtype: string
- name: unified_entities
sequence:
class_label:
names:
'0': B-cell_line
'1': B-character_name
'2': B-language
'3': B-disease
'4': B-event
'5': B-organization
'6': B-character
'7': B-origin
'8': B-other
'9': B-dish
'10': B-relationship
'11': B-artifact
'12': B-work_of_art
'13': B-facility
'14': B-product
'15': B-amenity
'16': B-rating
'17': B-actor
'18': B-date
'19': B-ratings_average
'20': B-quantity
'21': B-dna
'22': B-quote
'23': B-title
'24': B-song
'25': B-genre
'26': B-cuisine
'27': B-soundtrack
'28': B-ordinal_number
'29': B-protein
'30': B-collection
'31': B-money
'32': B-person
'33': B-project
'34': B-group
'35': B-review
'36': B-percent
'37': B-law
'38': B-director
'39': B-award
'40': B-chemical
'41': B-geopolitical_area
'42': B-rna
'43': B-restaurant
'44': B-location
'45': B-opinion
'46': B-cell_type
'47': B-trailer
'48': B-cardinal_number
'49': B-plot
'50': B-corporation
'51': B-time
'52': I-cell_line
'53': I-character_name
'54': I-language
'55': I-disease
'56': I-event
'57': I-organization
'58': I-character
'59': I-origin
'60': I-other
'61': I-dish
'62': I-relationship
'63': I-artifact
'64': I-work_of_art
'65': I-facility
'66': I-product
'67': I-amenity
'68': I-rating
'69': I-actor
'70': I-date
'71': I-ratings_average
'72': I-quantity
'73': I-dna
'74': I-quote
'75': I-title
'76': I-song
'77': I-genre
'78': I-cuisine
'79': I-soundtrack
'80': I-ordinal_number
'81': I-protein
'82': I-collection
'83': I-money
'84': I-person
'85': I-project
'86': I-group
'87': I-review
'88': I-percent
'89': I-law
'90': I-director
'91': I-award
'92': I-chemical
'93': I-geopolitical_area
'94': I-rna
'95': I-restaurant
'96': I-location
'97': I-opinion
'98': I-cell_type
'99': I-trailer
'100': I-cardinal_number
'101': I-plot
'102': I-corporation
'103': I-time
'104': O
- name: raw_entities
sequence:
class_label:
names:
'0': O
'1': B-cardinal number
'2': B-date
'3': I-date
'4': B-person
'5': I-person
'6': B-group
'7': B-geopolitical area
'8': I-geopolitical area
'9': B-law
'10': I-law
'11': B-organization
'12': I-organization
'13': B-percent
'14': I-percent
'15': B-ordinal number
'16': B-money
'17': I-money
'18': B-work of art
'19': I-work of art
'20': B-facility
'21': B-time
'22': I-cardinal number
'23': B-location
'24': B-quantity
'25': I-quantity
'26': I-group
'27': I-location
'28': B-product
'29': I-time
'30': B-event
'31': I-event
'32': I-facility
'33': B-language
'34': I-product
'35': I-ordinal number
'36': I-language
splits:
- name: de
num_bytes: 1131409390.498
num_examples: 1966
- name: es
num_bytes: 1141307288.576
num_examples: 1512
- name: fr
num_bytes: 1058324947.032
num_examples: 1656
- name: nl
num_bytes: 602932929.76
num_examples: 1120
download_size: 3332139599
dataset_size: 3933974555.866
configs:
- config_name: default
data_files:
- split: de
path: data/de-*
- split: es
path: data/es-*
- split: fr
path: data/fr-*
- split: nl
path: data/nl-*
language:
- de
- es
- fr
- nl
tags:
- spoken-ner
- multilingual
- MSNER
- spoken-language-understanding
pretty_name: MSNER
---
# Dataset Card for "spoken-ner"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

数据集信息：
特征：
- 名称：audio_id（音频标识符），数据类型：字符串
- 名称：language（语言类型），数据类型为分类标签（class_label），其类别映射如下：0对应英语（en）、1对应德语（de）、2对应法语（fr）、3对应西班牙语（es）、4对应波兰语（pl）、5对应意大利语（it）、6对应罗马尼亚语（ro）、7对应匈牙利语（hu）、8对应捷克语（cs）、9对应荷兰语（nl）、10对应芬兰语（fi）、11对应克罗地亚语（hr）、12对应斯洛伐克语（sk）、13对应斯洛文尼亚语（sl）、14对应爱沙尼亚语（et）、15对应立陶宛语（lt）、16对应带口音英语（en_accented）
- 名称：audio（音频），数据类型为音频格式，采样率为16000赫兹
- 名称：sentence（语句文本），数据类型：字符串
- 名称：unified_entities（统一实体标注），数据类型为序列分类标签（class_label），其类别名称对应：0为B-cell_line（B-细胞系）、1为B-character_name（B-角色名称）、2为B-language（B-语言）、3为B-disease（B-疾病）、4为B-event（B-事件）、5为B-organization（B-组织机构）、6为B-character（B-角色）、7为B-origin（B-起源）、8为B-other（B-其他）、9为B-dish（B-菜品）、10为B-relationship（B-关系）、11为B-artifact（B-人工制品）、12为B-work_of_art（B-艺术作品）、13为B-facility（B-设施）、14为B-product（B-产品）、15为B-amenity（B-便利设施）、16为B-rating（B-评分）、17为B-actor（B-演员）、18为B-date（B-日期）、19为B-ratings_average（B-平均评分）、20为B-quantity（B-数量）、21为B-dna（B-DNA）、22为B-quote（B-引述）、23为B-title（B-标题）、24为B-song（B-歌曲）、25为B-genre（B-流派）、26为B-cuisine（B-菜系）、27为B-soundtrack（B-原声音乐）、28为B-ordinal_number（B-序数词）、29为B-protein（B-蛋白质）、30为B-collection（B-合集）、31为B-money（B-货币）、32为B-person（B-人物）、33为B-project（B-项目）、34为B-group（B-群体）、35为B-review（B-评论）、36为B-percent（B-百分比）、37为B-law（B-法律）、38为B-director（B-导演）、39为B-award（B-奖项）、40为B-chemical（B-化学物质）、41为B-geopolitical_area（B-地缘政治区域）、42为B-rna（B-RNA）、43为B-restaurant（B-餐厅）、44为B-location（B-地点）、45为B-opinion（B-观点）、46为B-cell_type（B-细胞类型）、47为B-trailer（B-预告片）、48为B-cardinal_number（B-基数词）、49为B-plot（B-情节）、50为B-corporation（B-公司）、51为B-time（B-时间）、52为I-cell_line（I-细胞系）、53为I-character_name（I-角色名称）、54为I-language（I-语言）、55为I-disease（I-疾病）、56为I-event（I-事件）、57为I-organization（I-组织机构）、58为I-character（I-角色）、59为I-origin（I-起源）、60为I-other（I-其他）、61为I-dish（I-菜品）、62为I-relationship（I-关系）、63为I-artifact（I-人工制品）、64为I-work_of_art（I-艺术作品）、65为I-facility（I-设施）、66为I-product（I-产品）、67为I-amenity（I-便利设施）、68为I-rating（I-评分）、69为I-actor（I-演员）、70为I-date（I-日期）、71为I-ratings_average（I-平均评分）、72为I-quantity（I-数量）、73为I-dna（I-DNA）、74为I-quote（I-引述）、75为I-title（I-标题）、76为I-song（I-歌曲）、77为I-genre（I-流派）、78为I-cuisine（I-菜系）、79为I-soundtrack（I-原声音乐）、80为I-ordinal_number（I-序数词）、81为I-protein（I-蛋白质）、82为I-collection（I-合集）、83为I-money（I-货币）、84为I-person（I-人物）、85为I-project（I-项目）、86为I-group（I-群体）、87为I-review（I-评论）、88为I-percent（I-百分比）、89为I-law（I-法律）、90为I-director（I-导演）、91为I-award（I-奖项）、92为I-chemical（I-化学物质）、93为I-geopolitical_area（I-地缘政治区域）、94为I-rna（I-RNA）、95为I-restaurant（I-餐厅）、96为I-location（I-地点）、97为I-opinion（I-观点）、98为I-cell_type（I-细胞类型）、99为I-trailer（I-预告片）、100为I-cardinal_number（I-基数词）、101为I-plot（I-情节）、102为I-corporation（I-公司）、103为I-time（I-时间）、104为O（非实体标记）
- 名称：raw_entities（原始实体标注），数据类型为序列分类标签（class_label），其类别名称对应：0为O（非实体标记）、1为B-cardinal number（B-基数词）、2为B-date（B-日期）、3为I-date（I-日期）、4为B-person（B-人物）、5为I-person（I-人物）、6为B-group（B-群体）、7为B-geopolitical area（B-地缘政治区域）、8为I-geopolitical area（I-地缘政治区域）、9为B-law（B-法律）、10为I-law（I-法律）、11为B-organization（B-组织机构）、12为I-organization（I-组织机构）、13为B-percent（B-百分比）、14为I-percent（I-百分比）、15为B-ordinal number（B-序数词）、16为B-money（B-货币）、17为I-money（I-货币）、18为B-work of art（B-艺术作品）、19为I-work of art（I-艺术作品）、20为B-facility（B-设施）、21为B-time（B-时间）、22为I-cardinal number（I-基数词）、23为B-location（B-地点）、24为B-quantity（B-数量）、25为I-quantity（I-数量）、26为I-group（I-群体）、27为I-location（I-地点）、28为B-product（B-产品）、29为I-time（I-时间）、30为B-event（B-事件）、31为I-event（I-事件）、32为I-facility（I-设施）、33为B-language（B-语言）、34为I-product（I-产品）、35为I-ordinal number（I-序数词）、36为I-language（I-语言）
数据拆分：
- 拆分名称：de，字节大小：1131409390.498，样本量：1966
- 拆分名称：es，字节大小：1141307288.576，样本量：1512
- 拆分名称：fr，字节大小：1058324947.032，样本量：1656
- 拆分名称：nl，字节大小：602932929.76，样本量：1120
总下载大小：3332139599字节，数据集总存储大小：3933974555.866字节
配置项：
- 配置名称：default（默认配置），数据文件映射如下：
- 拆分de对应路径：data/de-*
- 拆分es对应路径：data/es-*
- 拆分fr对应路径：data/fr-*
- 拆分nl对应路径：data/nl-*
数据集包含语言：德语、西班牙语、法语、荷兰语
数据集标签：口语命名实体识别（spoken-ner）、多语言（multilingual）、MSNER、口语语言理解（spoken-language-understanding）
数据集展示名称：MSNER

# 「spoken-ner」数据集卡片

[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集信息

• 特征列表:
  • audio_id: 字符串类型
  • language: 分类标签类型，包含以下语言：
    • en, de, fr, es, pl, it, ro, hu, cs, nl, fi, hr, sk, sl, et, lt, en_accented
  • audio: 音频类型，采样率为16000
  • sentence: 字符串类型
  • unified_entities: 序列分类标签类型，包含以下实体标签：
    • B-cell_line, B-character_name, B-language, B-disease, B-event, B-organization, B-character, B-origin, B-other, B-dish, B-relationship, B-artifact, B-work_of_art, B-facility, B-product, B-amenity, B-rating, B-actor, B-date, B-ratings_average, B-quantity, B-dna, B-quote, B-title, B-song, B-genre, B-cuisine, B-soundtrack, B-ordinal_number, B-protein, B-collection, B-money, B-person, B-project, B-group, B-review, B-percent, B-law, B-director, B-award, B-chemical, B-geopolitical_area, B-rna, B-restaurant, B-location, B-opinion, B-cell_type, B-trailer, B-cardinal_number, B-plot, B-corporation, B-time, I-cell_line, I-character_name, I-language, I-disease, I-event, I-organization, I-character, I-origin, I-other, I-dish, I-relationship, I-artifact, I-work_of_art, I-facility, I-product, I-amenity, I-rating, I-actor, I-date, I-ratings_average, I-quantity, I-dna, I-quote, I-title, I-song, I-genre, I-cuisine, I-soundtrack, I-ordinal_number, I-protein, I-collection, I-money, I-person, I-project, I-group, I-review, I-percent, I-law, I-director, I-award, I-chemical, I-geopolitical_area, I-rna, I-restaurant, I-location, I-opinion, I-cell_type, I-trailer, I-cardinal_number, I-plot, I-corporation, I-time, O
  • raw_entities: 序列分类标签类型，包含以下实体标签：
    • O, B-cardinal number, B-date, I-date, B-person, I-person, B-group, B-geopolitical area, I-geopolitical area, B-law, I-law, B-organization, I-organization, B-percent, I-percent, B-ordinal number, B-money, I-money, B-work of art, I-work of art, B-facility, B-time, I-cardinal number, B-location, B-quantity, I-quantity, I-group, I-location, B-product, I-time, B-event, I-event, I-facility, B-language, I-product, I-ordinal number, I-language

数据集分割

• de:
  • 字节数: 1131409390.498
  • 样本数: 1966
• es:
  • 字节数: 1141307288.576
  • 样本数: 1512
• fr:
  • 字节数: 1058324947.032
  • 样本数: 1656
• nl:
  • 字节数: 602932929.76
  • 样本数: 1120

数据集大小

• 下载大小: 3332139599
• 数据集大小: 3933974555.866

配置

• 配置名称: default
  • 数据文件:
    • de: data/de-*
    • es: data/es-*
    • fr: data/fr-*
    • nl: data/nl-*

语言

• de, es, fr, nl

标签

• spoken-ner, multilingual, MSNER, spoken-language-understanding

数据集名称

• MSNER

搜集汇总

数据集介绍

构建方式

MSNER数据集的构建立足于多语种口语命名实体识别任务，其数据源自自然语音环境下的真实对话录音。为确保标注的全面性与一致性，研究者统一将音频以16kHz采样率进行数字化处理，并组织语言专家对每段语音对应的文本句子进行双重实体标注：其一为细粒度统一实体体系，涵盖人物、组织、地点、事件、作品、疾病等逾百种实体类别；其二为保留原始数据风格的粗粒度实体体系，侧重于数字、日期、百分比等基础类型。每个样本均包含音频标识符、语音信号、文本句子及两套实体标签序列，形成了层次分明的结构化数据集。

特点

该数据集的核心特色在于其跨语种与跨实体粒度的双重融合。它覆盖德语、西班牙语、法语、荷兰语四种语言，每个语言子集均保持了数千条高质量样本，为多语言口语理解研究提供了均衡的基石。尤为突出的是，数据集创新性地引入了统一实体体系与原始实体体系并行的标注策略，统一体系通过细粒度的BIO标签（如B-cell_line、I-work_of_art）捕捉领域特异性实体，而原始体系则忠实复现了原生标注的简洁风格（如B-cardinal number、B-date），这种双轨设计使得模型能够同时学习实体识别的通用性与领域适应性。

使用方法

在HuggingFace平台上，MSNER数据集以标准配置形式发布，用户可通过`load_dataset('qmeeus/MSNER', trust_remote_code=True)`直接加载。数据按语言划分为de、es、fr、nl四个子集，每个子集均包含音频路径、16kHz波形数组、文本句子及对应的unified_entities与raw_entities标签。研究人员可灵活选择使用统一实体体系进行细粒度NER训练，或采用原始实体体系进行基准测试；同时，音频数据可直接输入语音编码器，结合文本标签实现端到端的口语命名实体识别模型开发，尤其适用于多语言、多任务联合学习的场景。

背景与挑战

背景概述

在自然语言处理领域，命名实体识别（NER）作为信息抽取的核心任务，长期以来主要聚焦于文本数据。然而，随着语音交互系统的普及，面向口语的命名实体识别（Spoken NER）逐渐成为研究热点。MSNER数据集由多语言语音识别与语义理解研究团队创建，旨在填补口语中实体识别研究的空白。该数据集涵盖了德语、西班牙语、法语和荷兰语四种语言，包含超过6000条带有人工标注实体的语音样本，每条样本均提供16kHz的音频、转录文本及两种粒度的实体标注（统一实体与原始实体）。其研究核心在于探索语音信号中实体边界的模糊性、多语言实体类型的跨文化差异（如菜肴、奖项等细粒度类别），以及语音识别误差对实体抽取的影响。MSNER的发布为多语言口语理解、跨模态实体对齐及低资源语音NER提供了基准资源，推动了语音与文本融合研究的发展。

当前挑战

MSNER数据集所解决的领域挑战主要体现在两方面。其一，口语NER面临语音信号与文本语义之间的鸿沟，实体边界在连续语音中缺乏显式分隔，且同音词、口音及语速变化加剧了识别难度，例如数据集中包含’en_accented’变体，专门用于研究口音对实体识别的影响。其二，多语言标注体系存在复杂性，数据集中统一实体类型多达104种（含B/I/O标签），覆盖从生物化学术语到文化专有名词的广泛类别，不同语言对同一实体的表达方式差异显著，如法语中“person”与德语中“Person”的形态变化，要求模型具备跨语言泛化能力。构建过程中，团队需协调四国语言标注规范，确保音频转录与实体标签的一致性，同时处理语音数据中的噪声、背景音及说话人多样性，这些挑战使得MSNER成为检验多模态语义理解系统鲁棒性的重要测试台。

常用场景

经典使用场景

在自然语言处理与语音理解的交叉领域中，MSNER（多语种口语命名实体识别）数据集为研究者提供了弥合口语与文本实体标注之间鸿沟的宝贵资源。该数据集的经典使用场景聚焦于从多语种语音信号中直接抽取细粒度命名实体，涵盖德语、西班牙语、法语及荷兰语等语言。研究者可借助其统一标注体系（包含逾百种实体类别，如人物、组织、疾病、菜品等）训练端到端或级联式口语理解模型，从而在嘈杂、非正式的口语语境中精准识别实体边界与类型，推动跨语言语音信息抽取技术的发展。

解决学术问题

MSNER数据集的核心贡献在于解决了多语种口语场景下命名实体识别面临的标注稀缺与领域迁移难题。传统NER研究多聚焦于规范文本，而口语中存在的语速变化、口音差异、语法碎片化及背景噪声等问题，使得现有模型性能大幅衰退。该数据集通过提供对齐的音频与精细实体标注，首次系统性地支持了跨语种口语NER的基准建立。它揭示了语言间实体分布的不均衡性，并催生了面向低资源语言的鲁棒特征学习策略，显著提升了模型在真实对话环境中的泛化能力，为多模态语义理解奠定了语料基础。

衍生相关工作

基于MSNER数据集，学术界衍生出多项标志性工作。研究者提出了跨语言迁移学习框架，利用英语预训练音频模型微调至其他语种，有效缓解了标注数据匮乏问题。另有工作探索了语音与文本模态的对齐机制，通过对比学习增强实体边界感知能力。在模型架构方面，融合卷积与自注意力机制的混合编码器被证明能更高效捕获口语中的长距离实体依赖。此外，该数据集催生了多项评估基准挑战赛，推动了鲁棒口语NER的标准化评测，并启发了后续面向方言及多说话人场景的扩展数据集构建，形成了持续演进的学术生态。