orkidea/wayuu_CO_test

该数据集是一个关于Wayuu语言的自动语音识别数据集，包含810个音频文件，每个音频文件都有对应的转录文本。音频总时长为2801秒（约34分钟），平均每个音频时长为3.41秒。数据集的词汇库包含大约1000个独特的单词。数据集来源于Wayuunaiki语言的圣经录音和转录，但由于版权限制，数据集不能公开分享。

This dataset is an automatic speech recognition (ASR) dataset targeting the Wayuu language. It contains 810 audio files, each paired with a corresponding transcript. The total duration of all audio files is 2801 seconds (approximately 34 minutes), with an average duration of 3.41 seconds per audio clip. The vocabulary of this dataset includes approximately 1,000 unique words. The dataset is derived from recorded and transcribed Bible passages in the Wayuunaiki language. However, due to copyright restrictions, the dataset cannot be publicly shared.

原始信息汇总

Wayuu 语言数据集

概述

• 语言: guc
• 许可: other
• 大小类别: n<1K
• 任务类别: automatic-speech-recognition
• 美观名称: Wayuu language dataset

数据集信息

• 特征:
  • 音频: 数据类型为 audio
  • 转录: 数据类型为 string
• 分割:
  • 训练集:
    • 字节数: 123621131.0
    • 样本数: 810
• 下载大小: 122728843
• 数据集大小: 123621131.0
• 配置:
  • 默认配置:
    • 数据文件:
      • 训练集: 路径为 data/train-*

音频时长

• 总音频时长: 2801 秒 (约 34 分钟)
• 平均音频时长: 3.41 秒

数据集内容

• 数据集包含 810 个音频记录及其对应的转录文本。
• 词汇库包含约 1,000 个独特单词。
• 数据集源自 Wayuunaiki 语言的《圣经》录音和转录。
• 由于版权限制，数据集不能公开分享，使用受“合理使用”原则保护。

搜集汇总

数据集介绍

构建方式

该数据集聚焦于低资源语言Wayuunaiki（Guc）的自动语音识别任务，构建过程基于圣经文本的录音与转写。数据集包含810条音频-文本对，音频总时长约2801秒（约34分钟），平均每条音频时长3.41秒，词汇量约1000个独特词。数据来源受版权保护，遵循“合理使用”原则，因此未公开共享。

特点

数据集具有显著的语言学与语音学价值，尤其针对Wayuunaiki这一濒危语言的声学与词汇特征提供了稀缺资源。其音频片段短小精悍，适合处理孤立词或短句识别任务。由于源自圣经文本，语料在语义上较为统一，有助于模型学习特定领域的发音模式。

使用方法

数据集可通过HuggingFace的Datasets库加载，配置名为default，训练集（train）包含810个样本，特征包括音频（audio）与转写文本（transcription）。使用时需注意数据版权限制，仅可用于学术研究或非商业目的，且需确保符合‘fair use’条款。建议结合语音特征提取与序列到序列模型进行训练与评估。

背景与挑战

背景概述

在低资源语言的语音识别研究中，数据稀缺始终是制约技术突破的核心瓶颈。Wayuunaiki语作为哥伦比亚与委内瑞拉边境地区约60万瓦尤人使用的土著语言，其语音资源长期处于空白状态。orkidea/wayuu_CO_test数据集由致力于濒危语言数字化的研究团队创建，于2023年发布，旨在为自动语音识别（ASR）领域提供首个面向Wayuunaiki语的标准评测基准。该数据集包含810条音频-文本对，总时长约34分钟，词汇量约1000个独特词，其语料来源于圣经经文的语音录制与转写。尽管规模有限，该数据集填补了加勒比地区土著语言语音处理的空白，为后续跨语言迁移学习与低资源ASR模型优化提供了关键参考。

当前挑战

该数据集面临的核心挑战包括：其一，领域内挑战——Wayuunaiki语属于孤立语系，音系结构复杂，存在大量喉塞音与声调对立现象，而当前主流ASR模型多针对印欧语系设计，直接应用时泛化能力显著不足；其二，构建过程挑战——受限于版权协议，数据集无法公开共享，仅能以‘合理使用’原则进行受限传播，这严重阻碍了学术界的可复现研究与联合建模；其三，数据规模极小（不足1K样本），平均句长仅3.41秒，难以支撑端到端深度学习模型的充分训练，且圣经语料的单一文体导致词汇分布偏移，无法覆盖日常对话中的口语化表达与语法变体。

常用场景

经典使用场景

在濒危语言保护与自动语音识别领域，orkidea/wayuu_CO_test数据集为Wayuunaiki（瓦尤语）这一哥伦比亚与委内瑞拉边境地区原住民语言的语音建模提供了稀缺的标注资源。该数据集包含810条短音频及其对应文本转写，总时长约34分钟，词汇量约1000个独特词条，尤其适合用于构建低资源语言的声学模型与语言模型。其经典使用场景聚焦于小样本语音识别系统的开发与评估，研究者可借此探索在数据极度匮乏条件下，如何借助迁移学习、数据增强或自监督预训练等策略提升识别性能。

解决学术问题

该数据集有效缓解了低资源美洲原住民语言在语音识别研究中缺乏公开标注语料的困境。学术上，它支持研究者针对Wayuunaiki独特的音系特征（如元音和谐、音节结构）进行声学-语音学交叉分析，并验证跨语言模型（如wav2vec 2.0、HuBERT）在极小规模数据上的泛化能力。其意义在于推动了濒危语言数字化保护的方法论创新，为后续构建更大规模的Wayuunaiki语音库提供了基准测试集，同时揭示了圣经文本转写语料在语言模型训练中的领域偏差问题。

衍生相关工作

基于该数据集衍生的工作主要包括：一是利用wav2vec 2.0在Wayuunaiki上进行无监督预训练后微调，形成首个公开的瓦尤语语音识别基线模型；二是通过拼接该数据集与相近语系（如阿拉瓦克语族）数据，验证跨语言迁移学习对识别精度的提升效果；三是结合音素对齐工具，从圣经录音中自动提取音位标注，用于构建更细粒度的语音数据库。这些工作共同推动了低资源语音识别从“通用方案”向“语系特化方案”的范式演进。