ky552/cszs_zh_en

该数据集包含ICASSP 2024基准测试中的普通话-英语语音对，用于评估语音基础模型的语义和句法能力，也可用于代码切换的自动语音识别（ASR）。

原始信息汇总

数据集概述

数据集配置

• 默认配置：
  • 训练集：路径为 data/train-*
  • 开发集：路径为 data/dev-*
  • 测试集：路径为 data/test-*

数据集信息

• 特征：

  • correct_audio：音频数据，采样率为 16000 Hz
  • correct_transcription：正确转录文本，数据类型为字符串
  • correct_file：正确文件名，数据类型为字符串
  • wrong_audio：错误音频数据，采样率为 16000 Hz
  • wrong_transcription：错误转录文本，数据类型为字符串
  • wrong_file：错误文件名，数据类型为字符串

• 分割：

  • 训练集：字节数为 7561544424.98，样本数为 23549
  • 开发集：字节数为 2665949331.86，样本数为 8505
  • 测试集：字节数为 929488114.48，样本数为 3176

• 数据集大小：

  • 下载大小：10860817060 字节
  • 数据集大小：11156981871.32 字节

许可

• 许可证：MIT

语言

• 支持语言：中文（zh）、英文（en）

搜集汇总

数据集介绍

构建方式

该数据集源自ICASSP 2024发表的零资源语码转换语音基准测试，聚焦于普通话-英语双语音频对。构建过程中，研究者精心收集了包含正确与错误语码转换的语音片段，每一对均包含对应的音频文件及其人工转写文本。数据集划分为训练、验证和测试三个子集，其中训练集包含23,549条样本，验证集8,505条，测试集3,176条，总计约3.5万对语音数据。音频统一以16kHz采样率存储，确保了数据格式的一致性，为后续模型评估提供了标准化的输入基础。

特点

该数据集的核心特色在于其零资源设计理念，即不依赖于任何标注的语义或句法信息，仅通过语音对来评估基础模型的语码转换理解能力。每条样本包含正确与错误两种语码转换音频，形成天然的对比对，便于模型学习区分语言混合的合理性。数据集同时覆盖中文与英文，体现了跨语言场景的复杂性。此外，其规模适中且分设标准的三方切分，既适合作为零资源基准测试，也可直接用于语码转换语音识别任务的训练与评估。

使用方法

使用该数据集时，用户可通过HuggingFace的datasets库直接加载，指定配置名为'default'即可获取训练、验证和测试分片。每条样本提供correct_audio与wrong_audio两个音频字段，以及对应的转写文本correct_transcription和wrong_transcription，便于进行对比学习或分类任务。研究者既可将其用于零资源场景下的语义与句法能力评估，也可将其作为语码转换ASR系统的训练数据。建议在引用时附上原论文以遵循学术规范。

背景与挑战

背景概述

在语码转换（Code-Switching）研究领域，多语言环境下的语音理解与生成任务长期面临标注资源匮乏的困境。为此，由台湾大学李宏毅教授团队主导，联合法国国家信息与自动化研究所Ewan Dunbar等学者，于2024年ICASSP会议上提出了零资源语码转换语音基准（Zero Resource Code-Switched Speech Benchmark）。该数据集ky552/cszs_zh_en聚焦于普通话-英语双语语码转换场景，通过构建成对的正确与错误语音样本，系统性地评估语音基础模型在语义与句法层面的表征能力。其创建标志着语码转换研究从传统依赖标注数据的监督学习范式，向零资源场景下的自监督与离散单元分析迈出关键一步，为多语言语音处理、跨语言迁移学习及语音基础模型的泛化性测试提供了标准化评估框架。

当前挑战

当前数据集面临的核心挑战集中于三方面：其一，语码转换固有的语言结构复杂性，如句内交替的语法规则不匹配、韵律边界模糊及声学特征的非线性混合，使得模型难以在无标注条件下准确捕捉语义连贯性；其二，数据构建过程中需人工设计成对语音样本（正确与错误转录），这要求对双语交替模式进行精确定义，并排除非目标噪声干扰，导致样本规模受限（训练集仅23,549条），难以覆盖真实场景中丰富的语码转换变体；其三，零资源设定迫使评估完全依赖离散语音单元（如HuBERT等自监督模型输出的伪标签），但离散化过程可能丢失音调、语速等副语言信息，加剧了跨语言语义对齐的难度。

常用场景

经典使用场景

在语音与语言处理的交叉领域中，语码转换（Code-Switching）现象广泛存在于多语使用者的日常交流中，然而现有语音模型对此类混合语言的建模能力仍十分薄弱。ky552/cszs_zh_en数据集专为评估和提升语音基础模型在零资源条件下的语义与句法理解能力而设计，其核心使用场景在于构建对照语音对（correct_audio与wrong_audio），通过正误样本的对比训练，推动模型从声学特征中捕捉语码转换带来的语言结构变化。这一设计巧妙避开了对标注转写的依赖，为无监督或自监督学习范式下的跨语言语音表征研究提供了关键基准。

实际应用

在实际应用中，ky552/cszs_zh_en数据集直接服务于多语种语音助手、跨国会议自动转录以及双语教育智能评估等场景。例如，智能设备在接收用户夹杂中英文的语音指令时，亟需准确识别语码切换点并理解混合语义，该数据集训练的模型能有效提升此类场景下的鲁棒性。此外，在实时翻译系统中，利用该数据集的语音对可优化模型对语码转换区域的注意力分配，减少翻译错误。其低资源特性也使其适用于方言或小语种地区的语音产品开发，通过迁移学习弥合资源鸿沟。

衍生相关工作

自该数据集于ICASSP 2024发布以来，已衍生出多项具有影响力的研究工作。最直接的经典工作包括基于对比学习的语码转换语音表征优化方法，研究者利用该数据集的正确与错误语音对设计了新颖的负样本采样策略，显著提升了模型在零资源条件下的语码检测精度。此外，有工作将其与离散语音单元（Discrete Unit）结合，探索了无文本监督的跨语言语音到语音翻译。该基准还催生了针对语码转换场景的语音基础模型微调框架，通过引入语言身份感知的预训练目标，推动了多语言语音理解在学术评价体系中的标准化进程。