five

BrunoHays/Accueil_UBS

收藏
Hugging Face2024-04-11 更新2024-06-12 收录
下载链接:
https://hf-mirror.com/datasets/BrunoHays/Accueil_UBS
下载链接
链接失效反馈
官方服务:
资源简介:
该数据集汇集了从Accueil_UBS数据集中提取的339段电话对话,旨在评估在真实情况下,特别是在呼叫中心和法语环境中的自动语音识别系统。数据集包括录音文件和对话的文字转录,所有对话均为法语。数据集还进行了修改,包括删除不符合条件的样本和文本的标准化处理。

该数据集汇集了从Accueil_UBS数据集中提取的339段电话对话,旨在评估在真实情况下,特别是在呼叫中心和法语环境中的自动语音识别系统。数据集包括录音文件和对话的文字转录,所有对话均为法语。数据集还进行了修改,包括删除不符合条件的样本和文本的标准化处理。
提供机构:
BrunoHays
原始信息汇总

数据集概述

基本信息

  • 语言: 法语
  • 数据集名称: Accueil UBS
  • 大小: 小于1K
  • 许可证: CC BY-SA 4.0

数据集内容

  • 描述: 该数据集包含339个电话对话片段,旨在评估自动语音识别系统在实际呼叫中心环境中的表现,特别是法语环境。
  • 来源: 数据来源于Université de Bretagne Sud的真实电话接待录音,包括呼叫者与接待人员之间的对话。
  • 格式: 包括音频文件和对话的正字法转录。

数据处理

  • 过滤: 移除了以下类型的样本:
    • 声音重叠
    • 少于3个单词
    • 包含拼写(主要是UBS)
    • 已匿名化(名称和名字被替换为“Nom”和“Prénom”)
  • 文本标准化:
    • 原始文本保留在“raw_sentence”键下。
    • 在“sentence”键下进行了以下转换:
      • 删除非口语文本字符(如“e”, “#”, “[]”, “()”)
      • 使用Text2Num包将数字转换为数字形式(例如“dix-sept”→“17”)

引用信息

  • 作者: Jean-Yves Antoine
  • 年份: 2016
  • 数据集版本: v1
  • 链接: Accueil_UBS
搜集汇总
数据集介绍
main_image_url
构建方式
该数据集源自Accueil_UBS语料库,该语料库记录了法国南布列塔尼大学总机在真实场景下的人机对话,涵盖来电者与接待人员之间的交流。原始语料包含音频文件及正交转录文本,全部为法语。在此基础上,数据集的构建经历了严格的筛选与标准化流程:首先剔除了存在声音重叠、词汇量不足三词、包含拼读(如UBS)以及因匿名化处理而替换姓名的样本;随后对保留的文本进行清洗,移除非口语字符,并利用Text2Num工具将数字的字母书写形式(如dix-sept)转换为阿拉伯数字(17)。最终保留了339条电话对话片段,形成测试集。
特点
该数据集的核心特点在于其高度聚焦于真实世界的电话对话场景,专为评估法语自动语音识别系统在呼叫中心环境中的性能而设计。其规模虽小(不足1K样本),但通过剔除重叠语音和匿名化等干扰项,确保了音频与文本对齐的准确性。标准化后的文本(sentence字段)同时保留原始文本(raw_sentence),便于研究者对比处理前后差异。数据集采用CC BY-SA 4.0许可协议,支持学术共享与衍生应用,且配置简洁,仅含一个默认测试集,降低了使用复杂度。
使用方法
数据集以HuggingFace格式组织,配置名为default,包含一个测试集,数据文件包括metadata.csv和位于data/test/目录下的WAV音频文件。使用时可通过HuggingFace的datasets库直接加载:from datasets import load_dataset,指定数据集名称BrunoHays/Accueil_UBS。加载后,每条样本包含音频路径、原始文本(raw_sentence)和标准化文本(sentence),可用于评估ASR系统的词错误率或进行口语理解研究。建议在评估前将音频重采样至统一采样率,并利用sentence字段作为参考转录。
背景与挑战
背景概述
在自动语音识别(ASR)领域,真实场景下的对话语音识别一直是研究的热点与难点,尤其是面对嘈杂环境、非正式用语及多说话人交互等复杂因素。在此背景下,Accueil_UBS数据集应运而生,由Jean-Yves Antoine于2016年创建,源自法国南布列塔尼大学(Université de Bretagne Sud)实际电话总机接待场景的录音。该数据集包含339段法语电话对话片段,旨在为呼叫中心环境下的ASR系统评估提供标准化测试资源。其核心研究问题聚焦于提升ASR系统在真实、非受控对话中的鲁棒性,对推动法语语音识别技术从实验室走向工业应用具有重要影响力,尤其为处理口音、语速变化及背景噪声等挑战提供了宝贵基准。
当前挑战
Accueil_UBS数据集所面临的挑战首先体现在领域问题层面:真实电话对话中普遍存在的语音重叠、简短语句(如少于三词)、拼读专有名词(如“UBS”)、以及因匿名化导致的命名实体替换,这些因素严重干扰了ASR系统的准确建模。其次,构建过程中遭遇了数据筛选与标准化的双重困难:需手动剔除含重叠语音的样本,并制定规则去除非口语字符(如“#”、“[]”),同时利用Text2Num库将数字词汇统一转换为数字形式,以平衡自然语言与机器可读性。此外,原始语料中姓名替换为“Nom”“Prénom”等抽象标记,进一步增加了语义理解的复杂性,要求系统具备更强的上下文推理能力。
常用场景
经典使用场景
Accueil_UBS数据集精选自真实大学总机环境下的339段法语电话对话片段,专为评估自动语音识别系统在嘈杂、自然口语场景中的鲁棒性而设计。其经典使用场景聚焦于客服中心法语语音识别的基准测试,通过过滤掉重叠语音、短句及匿名化内容,确保数据纯净度,从而为研究者提供贴近实际部署条件的标准化评估平台。
解决学术问题
该数据集有效攻克了真实场景中语音识别系统面临的三大学术难题:重叠语音干扰下的声学模型退化、非规范口语(如拼写、填充词)对语言模型的影响,以及录音环境噪声导致的特征混淆。通过提供经过严格清洗和文本标准化(如数字转写)的语料,它推动了端到端语音识别在低资源法语对话领域的泛化能力研究,并为鲁棒性声学-语言联合建模提供了关键基准。
衍生相关工作
该数据集衍生了多项经典工作,包括基于跨语种迁移学习的法语电话语音识别模型(如Wav2Vec 2.0微调版本)、融合语码转换检测的端到端对话系统,以及针对重叠语音分离的时域音频分割算法。此外,研究者基于其文本标准化流程,提出了面向法语口语的数字归一化工具Text2Num,并衍生出多任务联合训练框架,显著提升了噪声环境下说话人日志与语音识别的协同性能。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务