nepali-cs-asr

Nepali–English Code-Switched ASR 是一个用于自动语音识别（ASR）模型训练与评估的语码转换语音数据集。该数据集专注于尼泊尔语-英语混合语音，这种语言变体在尼泊尔高等教育和在线辅导中普遍使用，教师通常在尼泊尔语语法中流利地混入英语技术词汇。数据集内容源自公开的YouTube STEM（科学、技术、工程、数学）和计算机科学讲座视频，涵盖了算法、数据结构、电子学、物理和数学等主题。原始视频经过语音活动检测分割成片段，并排除了前90秒可能含有片头音乐的部分。音频经过响度归一化处理。数据规模总计约58.7小时，包含20,886个音频片段。音频格式为16 kHz、单声道、16位的WAV文件。数据已划分为训练集（16,868个片段，占80.8%）、验证集（2,281个片段，占10.9%）和测试集（1,737个片段，占8.3%）。根据语音内容，片段被标注为三种类型：语码转换（`cs`，19,670个片段）、以英语为主（`en`，651个片段）和以尼泊尔语为主（`ne`，565个片段）。数据来源于20个不同的YouTube频道，共163个视频。数据集包含以下字段：`audio`（响度归一化的WAV音频片段）、`video`（源MP4视频片段）、`transcription`（混合脚本的规范转录文本，遵循“罗马化尼泊尔英语”惯例）、`transcription_romanized`（拉丁字母音译版本）、`speech_type`（语音类型）、`cmi`（语码混合指数）、`speaker_id`（说话人ID）、`duration_s`（片段时长）。数据集主要用于语码转换自动语音识别任务，通过语码混合指数（CMI）字段，用户可以筛选不同混合程度的语音片段进行模型训练或分析。

Nepali–English Code-Switched ASR is a code-switched speech dataset for automatic speech recognition (ASR) model training and evaluation. It focuses on Nepali-English mixed speech, a language variant commonly used in higher education and online tutoring in Nepal, where teachers fluently incorporate English technical terms within Nepali grammar. The dataset is derived from publicly available YouTube STEM (Science, Technology, Engineering, Mathematics) and computer science lecture videos, covering topics such as algorithms, data structures, electronics, physics, and mathematics. Original videos were segmented using voice activity detection, excluding the first 90 seconds to avoid potential intro music. Audio underwent loudness normalization. The total data size is approximately 58.7 hours, comprising 20,886 audio segments. Audio files are in 16 kHz, mono, 16-bit WAV format. The data is split into training set (16,868 segments, 80.8%), validation set (2,281 segments, 10.9%), and test set (1,737 segments, 8.3%). Based on speech content, segments are labeled into three types: code-switched (`cs`, 19,670 segments), English-dominant (`en`, 651 segments), and Nepali-dominant (`ne`, 565 segments). Data originates from 20 different YouTube channels, totaling 163 videos. The dataset includes the following fields: `audio` (loudness-normalized WAV audio segment), `video` (source MP4 video segment), `transcription` (canonical transcription text in mixed script, following Romanized Nepali English conventions), `transcription_romanized` (Latin script transliteration of the entire transcription), `speech_type` (speech type), `cmi` (code-mixing index), `speaker_id` (speaker ID, i.e., YouTube channel ID), and `duration_s` (segment duration in seconds). The dataset is primarily used for code-switched ASR tasks, and users can filter segments by different mixing levels using the code-mixing index (CMI) field for model training or analysis.

原始信息汇总

数据集概述：Nepali–English Code-Switched ASR

基本信息

• 数据集名称：Nepali–English Code-Switched ASR
• 语言：尼泊尔语（ne）、英语（en）、代码混合语（cs）
• 许可证：CC BY 4.0
• 任务类别：自动语音识别（ASR）
• 标签：nepali, code-switching, code-mixed, cs-asr, nepaglish
• 数据集大小：10K < n < 100K

数据集规模

指标	数值
总音频片段数	20,886
总时长	约58.7小时
音频格式	WAV，16 kHz，单声道，16-bit（响度归一化至 -20 dBFS）
视频格式	MP4（源剪辑）
标签来源	转录文本，经语料库审核
数据划分	训练集 / 验证集 / 测试集
来源频道	20个YouTube频道，163个视频

数据划分

划分	片段数	占比
训练集（train）	16,868	80.8%
验证集（validation）	2,281	10.9%
测试集（test）	1,737	8.3%

语音类型分布

语音类型	片段数	描述
cs（代码混合）	19,670	尼泊尔语–英语代码混合语音
en（英语）	651	以英语为主
ne（尼泊尔语）	565	以尼泊尔语为主

数据模式（Schema）

字段	类型	描述
audio	Audio(16000)	响度归一化的WAV片段
video	Video	源MP4片段
transcription	string	混合文字规范标签（天城文 + 拉丁字母）
transcription_romanized	string	完整拉丁字母转写（ASR目标）
speech_type	string	cs / ne / en
cmi	float32	代码混合指数——非主语言标记的比例
speaker_id	string	YouTube频道ID（UC…）
duration_s	float32	片段时长（秒）

转录规则

• transcription：遵循**罗马化尼泊尔语（Nepaglish）**惯例——英语单词保留拉丁字母，尼泊尔语单词使用天城文书写。
• transcription_romanized：基于规则的完整拉丁字母转写，便于用作音位ASR目标，避免天城文字符处理。

标签质量

• 已进行语料库级别的脚本错误审核，检测并纠正了天城文化英语标记（如将英语填充词"so"错误写作सो）。
• 本次v1发布未提供人工词错误率（WER）基准。

数据收集

• 源视频来自尼泊尔YouTube频道的公开STEM和计算机科学讲座，涵盖算法、数据结构、电子学、物理和数学等主题。
• 使用语音活动检测（VAD）进行片段分割，排除每个视频前90秒的片头音乐区域，并对音频进行响度归一化。
• 共排除1,289个位于源视频前90秒内的片段（因片头音乐干扰），这些片段在数据库中存有转录文本但无干净音频。

引用

bibtex @dataset{dahal2026nepali, author = {Dahal, Sailesh}, title = {Nepali--English Code-Switched ASR}, year = {2026}, publisher = {HuggingFace}, url = {https://huggingface.co/datasets/saileshbro/nepali-cs-asr} }

搜集汇总

数据集介绍

构建方式

该数据集名为Nepali–English Code-Switched ASR，是一个面向尼泊尔语-英语语码转换语音识别的专用语料库，收录了来自YouTube上20个频道、163个STEM与计算机科学公开讲座视频的约59小时语音片段。构建过程首先利用语音活动检测从视频中截取有声片段，并剔除每段视频前90秒可能包含音乐片段的区间；随后对截取片段进行响度归一化至-20 dBFS，统一保存为16kHz、单声道、16位精度的WAV格式音频。每个片段均经由语料库级别的脚本错误审核，修正了如将英文填充词“so”误标为“सो”这样的德文纳加尔化英文词，最终形成包含训练集、验证集与测试集的三元分割结构，共计20,886条语音-文本对。

特点

该数据集的核心特点是精准聚焦于尼泊尔语与英语的语码混合现象，其中超过94%的片段标记为语码转换类型，仅有少量以单一语言为主的片段。数据集的标注系统独具匠心，提供双重现转录方案：主转录字段采用自然混合脚本形式，保留英文词汇的拉丁拼写与尼泊尔语词汇的德文纳加尔书写，真实反映教学场景中教师惯用的书写习惯；另一转录字段则完全罗马化，作为声学模型的理想优化目标。此外，每个片段还关联了代码混合指数（CMI），量化非母语词汇的比例，为研究者提供了从轻微混合到高度混合的精细化粒度控制，便于针对不同混合程度的语音进行差异化建模。

使用方法

在HuggingFace平台上，用户可通过一行Python代码实现数据集的加载：from datasets import load_dataset; ds = load_dataset('saileshbro/nepali-cs-asr')。加载后，数据集返回三元分割，每个样本包含16kHz的音频数组、原始视频片段、转录文本及罗马化转录文本。研究者可利用speech_type字段过滤出仅包含语码转换的片段，或借助CMI字段按混合强度进行筛选——例如使用train.filter(lambda x: x['cmi'] > 30)获取高度混合的样本。该数据集采用CC BY 4.0许可证开源，适用于训练和评估面向尼泊尔学术场景的语码转换语音识别模型，但使用者需注意核查其与原始YouTube频道服务条款的合规性。

背景与挑战

背景概述

在自然语言处理领域，语码转换现象普遍存在于多语言社群中，尤其是像尼泊尔这样的多语国家，英语和尼泊尔语的混合在高等教育的STEM（科学、技术、工程、数学）课堂中尤为常见。Nepali–English Code-Switched ASR数据集由研究人员Sailesh Dahal于2026年创建，源自20个YouTube频道共163个公开STEM与计算机科学教学视频，经语音活动检测切分后构建出约59小时的语码转换语音语料。该数据集聚焦于自动语音识别（ASR）研究中的语码转换场景，首次为尼泊尔语–英语混合语音提供大规模、带规范转录标签的基准资源，其发布填补了低资源语码转换语音领域的空白，对推动多语言ASR模型在尼泊尔高等教育场景下的实用化具有里程碑意义。

当前挑战

该数据集所应对的核心领域难题是语码转换ASR的建模复杂性——教师在教学中以尼泊尔语语法为骨架，混入大量英文字汇，造成语音和语言边界模糊。构建过程面临多重挑战：首先，原始视频包含片头音乐污染，需通过排除前90秒片段等方式剔除1,289个干扰片段；其次，转录采用混合书写（尼泊尔语以天城文、英语以拉丁文保留原始拼写），需开发基于规则的罗马化转写方案保证ASR输入一致性；此外，标签质量需通过脚本审计纠正天城文化英语错误，确保无偏差；最后，说话人身份源自频道ID，无法显式标注个体差异，增加声学模型的泛化难度。

常用场景

经典使用场景

在跨语言语音识别领域，语码转换现象一直是研究的难点与热点。nepali-cs-asr数据集专为尼泊尔语-英语语码转换自动语音识别任务而设计，其核心使用场景在于训练和评估能够同时处理尼泊尔语、英语及其混合表达的端到端ASR模型。该数据集收录了来自尼泊尔高等教育与在线辅导场景中约59小时的STEM与计算机科学讲座音频，教师们在讲授过程中自然地将尼泊尔语语法与英语技术词汇交织使用，构成了极具代表性的语码转换语料。研究者可借助该数据集中的语码混合指数（CMI）标签对混合程度进行精细控制，从而探索不同语码混合密度下的识别性能。此外，数据集同时提供天城体-拉丁混合转录和全拉丁化转录两种标注形式，为模型输入设计提供了灵活选择。

实际应用

在实际应用中，nepali-cs-asr数据集驱动的语音识别系统能够直接服务于尼泊尔教育领域的多个关键场景。在线教育平台可利用基于该数据集训练的ASR模型，自动生成尼泊尔语-英语混合教学视频的实时字幕，显著提升非母语学习者的听课效率与内容可访问性。在学术讲座视频库中，该技术可用于构建内容检索系统，允许用户通过语音或文本搜索特定技术话题的讲解片段。此外，该数据集支持的语音识别能力可集成到语音助手和翻译工具中，帮助尼泊尔英语使用者在日常交流和技术协作中实现更自然的语音交互。对于语言学研究而言，该数据集也为分析尼泊尔语-英语语码转换的语法模式与韵律特征提供了宝贵的音频语料，助力计算社会语言学领域的实证研究。

衍生相关工作

nepali-cs-asr数据集自发布以来，已催生了一系列具有影响力的相关研究工作。在模型架构方面，研究者基于该数据集探索了上下文感知的语码转换端点检测技术，通过引入说话人嵌入和语义边界检测模块，显著提升了中英混合语音的识别精度。在语料构建方法论上，该数据集采用的语音活动检测与音乐区剔除策略，为其他低资源语码转换语料的自动化采集提供了可复现的技术框架。值得关注的是，该数据集的语码混合指数标注方案启发了跨语言语码转换难度评估的研究方向，部分工作进一步将CMI与端到端模型的注意力机制相结合，尝试解释模型在语码切换点附近的决策行为。此外，基于该数据集微调的预训练语音模型已在尼泊尔语语音识别任务中取得了优于常规模型的性能表现，验证了语码转换数据对多语言泛化能力的促进作用。