bond005/sova_rudevices

SOVA RuDevices数据集是一个免费的公共STT/ASR数据集，包含约100小时的16kHz俄语实时语音，并经过手动标注。数据集由SOVA.ai团队准备，未划分训练、验证和测试子集，但用户自行进行了划分。数据集支持自动语音识别任务，音频为俄语，包含音频文件及其转录文本。数据集的结构包括音频数据和转录文本，分为训练、验证和测试三个子集。数据集的创建者包括Egor Zubarev、Timofey Moskalets和SOVA.ai团队，采用Creative Commons BY 4.0许可证。

The SOVA RuDevices dataset is a free public STT/ASR dataset. It contains approximately 100 hours of 16 kHz real-time Russian speech with manual annotations. Prepared by the SOVA.ai team, this dataset does not have pre-split training, validation, and test subsets, requiring users to perform the data splitting independently. The dataset supports automatic speech recognition tasks, including Russian audio files and their corresponding transcriptions. The dataset structure, after user-conducted splitting, consists of three subsets: training, validation, and test, each containing audio data and transcriptions. The creators of the dataset include Egor Zubarev, Timofey Moskalets, and the SOVA.ai team, and it is licensed under Creative Commons BY 4.0.

原始信息汇总

数据集卡片 for SOVA RuDevices

数据集描述

• 数据集摘要：SOVA Dataset 是一个免费公开的 STT/ASR 数据集。其中一部分是 SOVA RuDevices，这是一个包含约 100 小时 16kHz 俄语实时语音的声学语料库，由 SOVA.ai 团队手动标注。
• 支持的任务和排行榜：
  • automatic-speech-recognition：该数据集可用于训练自动语音识别（ASR）模型。模型接收音频文件并将其转录为书面文本。最常见的评估指标是词错误率（WER）。任务有一个活跃的 Hugging Face 排行榜，可在 Hugging Face Speech Bench 找到。
• 语言：音频为俄语。

数据集结构

数据实例

一个典型的数据点包含音频数据（通常称为 audio）及其转录文本（称为 transcription）。不提供有关说话人和包含转录文本的段落的额外信息。 json { "audio": { "path": "/home/bond005/datasets/sova_rudevices/data/train/00003ec0-1257-42d1-b475-db1cd548092e.wav", "array": array([ 0.00787354, 0.00735474, 0.00714111, ..., -0.00018311, -0.00015259, -0.00018311]), dtype=float32), "sampling_rate": 16000 }, "transcription": "мне получше стало" }

数据字段

• audio：包含下载的音频文件路径、解码后的音频数组和采样率的字典。访问 audio 列时，音频文件会自动解码并重采样至 dataset.features["audio"].sampling_rate。
• transcription：音频文件的转录文本。

数据分割

该数据集包含三个部分：训练、验证和测试。分割考虑了 SOVA RuDevices 的内部结构，但同一说话人的音频记录可能出现在不同的分割中。

	Train	Validation	Test
样本数	81607	5835	5799
小时数	82.4h	5.9h	5.8h

数据集创建

标注过程

所有录制的音频文件都是手动标注的。

个人和敏感信息

数据集包含捐赠其声音的人。您同意不尝试确定此数据集中说话人的身份。

额外信息

数据集策展人

数据集最初由 Egor Zubarev、Timofey Moskalets 和 SOVA.ai 团队创建。

许可信息

Creative Commons BY 4.0

引用信息

@misc{sova2021rudevices, author = {Zubarev, Egor and Moskalets, Timofey and SOVA.ai}, title = {SOVA RuDevices Dataset: free public STT/ASR dataset with manually annotated live speech}, publisher = {GitHub}, journal = {GitHub repository}, year = {2021}, howpublished = {url{https://github.com/sovaai/sova-dataset}}, }

贡献

感谢 @bond005 添加此数据集。

搜集汇总

数据集介绍

构建方式

SOVA RuDevices数据集是SOVA公开语音数据集的重要组成部分，专注于俄语自动语音识别（ASR）领域。该数据集由SOVA.ai团队精心构建，包含约100小时、采样率为16kHz的俄语真实口语录音。所有音频文件均经过人工精确标注，确保转录文本的准确性。原始数据集并未划分训练、验证和测试子集，因此由贡献者依据原始数据内部结构进行合理分割：验证集源自子目录“0”，测试集源自子目录“1”，而训练集则涵盖其余数据。最终形成训练集超82小时、验证集约5.9小时、测试集约5.8小时的规范数据划分，但需注意同一说话者的录音可能出现在不同子集中。

特点

该数据集的核心特点在于其高质量的人工标注与真实的俄语口语场景。音频数据来自众包采集，涵盖多样化的说话者和自然语音环境，具有较高的生态效度。数据集以单语种（俄语）形式呈现，专为自动语音识别和音频分类任务设计。每个数据点包含完整的音频路径、解码后的音频数组及对应转录文本，结构简洁清晰。此外，数据集采用宽松的Creative Commons BY 4.0许可协议，便于学术研究与商业应用。约10万条样本的规模使其在模型训练与评估中兼具实用性与代表性。

使用方法

使用该数据集时，可通过HuggingFace Datasets库便捷加载。加载后，典型数据点包含'audio'和'transcription'两个字段。'audio'字段为字典，内含音频文件路径、解码后的浮点数组及采样率（16kHz），访问时建议优先通过索引方式（如dataset[0]["audio"]）以避免大规模解码造成的性能开销。'transcription'字段提供对应的俄语文本标注。数据集已预先划分为训练、验证和测试三部分，使用者可直接用于模型训练与评估。评估自动语音识别模型时，通常采用词错误率（WER）作为主要指标，并可参与HuggingFace Speech Bench排行榜进行性能比较。

背景与挑战

背景概述

在自动语音识别（ASR）领域，高质量、多场景的语料库是推动模型性能提升的关键基石。然而，俄语作为全球使用广泛的语言之一，其公开可用的语音数据集相对匮乏，且多数数据集聚焦于朗读式语音，缺乏对真实生活场景中自发语音的覆盖。在此背景下，SOVA RuDevices数据集于2021年由Egor Zubarev、Timofey Moskalets及SOVA.ai团队创建，旨在填补俄语自发语音语料库的空白。该数据集包含约100小时、16kHz采样的俄语真实生活语音，所有音频均经过人工精确标注，支持自动语音识别与音频分类任务。其发布不仅为俄语ASR研究提供了宝贵的训练资源，还通过Hugging Face平台与Speech Bench排行榜，促进了模型性能的标准化评估与对比，对推动俄语语音技术的进步具有重要影响力。

当前挑战

SOVA RuDevices数据集所面临的挑战涵盖多个维度。首先，在领域问题层面，该数据集致力于解决真实生活场景中俄语自发语音的识别难题，这类语音常包含背景噪声、口音差异、语速变化及非正式表达，显著增加了ASR模型的泛化难度。其次，在构建过程中，数据集面临两大挑战：一是原始数据未划分训练、验证与测试子集，需由后续研究者根据内部目录结构（如子目录0和1）手动分割，且无法完全避免同一说话者的音频片段出现在不同子集中，可能引入数据泄露风险；二是所有音频文件均依赖人工标注，尽管确保了转录准确性，但标注过程耗时且成本高昂，限制了数据集的规模化扩展。此外，数据集未提供说话者身份或文本段落等辅助信息，进一步增加了模型对声学与语言特征解耦的挑战。

常用场景

经典使用场景

SOVA RuDevices数据集作为俄语实时语音的声学语料库，其经典使用场景聚焦于自动语音识别（ASR）模型的训练与评估。该数据集包含约100小时的16kHz采样率俄语语音，并配有专家手动标注的文本转录，为构建高精度俄语语音识别系统提供了坚实的基准资源。研究者可基于其划分好的训练、验证与测试子集，以词错误率（WER）为核心指标，系统性地优化端到端或混合型ASR架构，从而推动俄语语音处理技术的标准化进程。

实际应用

在实际应用层面，RuDevices数据集驱动了智能语音助手、会议自动转写及呼叫中心质检等商用系统的落地。基于该数据集训练的ASR模型可精准处理俄语口语中的连读、省略和填充词等特征，显著提升语音交互的流畅度与用户体验。此外，其与SOVA.ai团队的开源生态紧密结合，使得中小型企业和开发者能够低成本构建俄语语音应用，推动了多语言语音技术普惠化。

衍生相关工作

该数据集衍生了一系列具有影响力的学术工作，包括基于自监督预训练（如Wav2Vec 2.0、HuBERT）的俄语微调模型，以及针对低资源语音识别的数据增强策略研究。Hugging Face社区围绕其建立的语音基准排行榜，催生了多种轻量化端侧ASR架构的迭代。此外，RuDevices常与SOVA数据集其他组成部分（如SOVA RuCommon）联合使用，用于探索跨领域声学特征的迁移学习，成为俄语多任务语音分析的基石资源。