rv-4d54f178b0

本数据集为俄语唇读语料库，专门用于视觉语音识别（VSR）任务，仅包含视频片段（无音频）。数据规模为229,494个视频片段，总时长约690小时（截至2026年9月3日），是目前公开最大的俄语VSR数据集（对比MuAViC仅49小时）。数据来源分为两部分：一部分（160,921个片段，306小时）来自牛津VGG的MultiVSR开放列表，经本数据集提供的流水线切分而成；另一部分（68,573个片段，384小时）为从RuTube自行收集的素材。数据按文件夹组织，每个文件夹内包含多个批次（batch），每个批次有一个dataset.jsonl清单文件（每行一个片段）和对应的视频文件（文件名格式为spanNNN_tK_cut.mp4）。清单字段包括：path（视频文件路径）、text（原始转录，含标点）、text_norm（小写无标点转录，用于训练）、words（词级时间戳）、url（原始视频链接）、src_start_s/src_end_s（片段在原始视频中的起止秒数）、src_start_frame/src_end_frame（对应的帧数）、dur_s（片段时长）、fps（帧率）、bbox_first/bbox_mid（首帧和中帧的人脸边界框）、conf（SyncNet同步置信度，越高越可靠）、offset_frames（音频相对于视频的偏移帧数）、subs_frac（画面中嵌入字幕的帧占比）、video（原始视频标识符）。数据收集流程包括：1) 使用视觉语言模型筛选“说话人头”频道；2) 探测视频中人脸区域；3) 仅下载包含人脸的视频段；4) 跟踪人脸轨迹，过滤非人脸（如动画、动物）；5) 使用SyncNet检查唇音同步并寻找音频偏移；6) 使用Whisper进行语音识别并获取词级时间戳，然后按语音边界切分片段。约一半的候选素材被过滤掉。注意事项：1) 转录由自动语音识别生成，可能存在错误；2) conf字段可作为置信度阈值，低值表示唇音不同步，不适合使用；3) 部分片段画面中嵌入字幕（subs_frac > 0），若训练时仅使用嘴部区域则影响不大，但若使用全帧则建议排除；4) 数据来源于公开渠道，仅供研究用途，原始视频版权归原作者所有。This dataset is a Russian lip-reading corpus specifically designed for Visual Speech Recognition (VSR) tasks, containing only video clips (no audio). It consists of 229,494 video clips with a total duration of approximately 690 hours (as of September 3, 2026), making it the largest publicly available Russian VSR dataset (compared to MuAViCs 49 hours). The data sources are divided into two parts: one part (160,921 clips, 306 hours) comes from the MultiVSR open list of Oxford VGG, segmented by the pipeline provided in this dataset; the other part (68,573 clips, 384 hours) is collected from RuTube. The data is organized by folders, each containing multiple batches, with each batch having a dataset.jsonl manifest file (one clip per line) and corresponding video files (filename format: spanNNN_tK_cut.mp4). The manifest fields include: path (video file path), text (original transcription with punctuation), text_norm (lowercase transcription without punctuation for training), words (word-level timestamps), url (original video link), src_start_s/src_end_s (start and end seconds of the clip in the original video), src_start_frame/src_end_frame (corresponding frame numbers), dur_s (clip duration), fps (frame rate), bbox_first/bbox_mid (face bounding boxes of the first and middle frames), conf (SyncNet synchronization confidence, higher is more reliable), offset_frames (audio offset relative to video), subs_frac (proportion of frames with embedded subtitles), and video (original video identifier). The data collection pipeline includes: 1) using a visual language model to filter talking head channels; 2) detecting face regions in videos; 3) only downloading video segments containing faces; 4) tracking face trajectories and filtering out non-faces (e.g., animations, animals); 5) using SyncNet to check lip-sync and find audio offsets; 6) using Whisper for speech recognition and obtaining word-level timestamps, then segmenting clips by speech boundaries. Approximately half of the candidate material is filtered out. Notes: 1) Transcriptions are generated by automatic speech recognition and may contain errors; 2) The conf field can be used as a confidence threshold, with low values indicating lip-sync issues and unsuitability; 3) Some clips have embedded subtitles (subs_frac > 0), which may be negligible if only the mouth region is used for training, but recommended to exclude when using full frames; 4) The data comes from public sources, for research purposes only, and the original video copyrights belong to their respective owners.

原始信息汇总

数据集概述

该数据集是一个俄语唇读（视觉语音识别）语料库，包含说话人面部的视频片段及对齐的语音转录文本，专门用于训练无声单视频条件下的俄语视觉语音识别（VSR）模型。

数据规模

• 总计 229,494 个视频片段，时长 690 小时（截至 2026 年 9 月 3 日测量）。
• 作为对比，目前最大的公开俄语唇读数据集 MuAViC 仅包含 49 小时。

数据来源

来源	片段数	时长	说明
multivsr/	160,921	306 小时	来自 MultiVSR（牛津 VGG）公开列表中的视频，由数据集构建流程切分
其他文件夹	68,573	384 小时	从 RuTube 自行采集

自行采集的文件夹（lips-b、lips-d、big1 等）以采集机器命名，数据内容同质，读取时可合并处理。

数据格式与目录结构

<文件夹>/<批次>/dataset.jsonl 批次清单，每行对应一个片段 <文件夹>/<批次>/<视频>/spanNNN_tK_cut.mp4 视频片段 _meta/ 采集检查点与目录 claims/ 任务分配标记

• 片段文件名中 span 表示原视频中的片段区间，t 表示片段内人脸轨道的编号（画面中可能出现多人），_cut 表示已按语音边界裁剪。

清单字段说明

字段	含义
path	片段文件路径
text	原始转录文本（含标点）
text_norm	小写化且去除标点的版本，用于训练
words	词级时间标注（片段内起止时间）
url	原视频链接
src_start_s / src_end_s	片段在原视频中的起止秒数
src_start_frame / src_end_frame	片段在原视频中的起止帧数
dur_s	片段时长（秒）
fps	帧率
bbox_first / bbox_mid	首帧与中间帧的人脸边界框
conf	唇音同步评分（SyncNet），值越高越可靠
offset_frames	音频相对视频的时间偏移（帧数）
subs_frac	画面中内嵌字幕的帧占比
video	原视频的标识符

使用方法

可通过 huggingface_hub 按文件夹逐批下载清单与视频文件。整个仓库包含超过 20 万文件，不建议直接遍历全部仓库，按单文件夹枚举可在数秒内完成。

构建流程

1. 使用视听语言模型筛选“说话人脸”类频道。
2. 侦查视频，定位画面中足够大人脸的区域。
3. 仅下载所需片段而非完整视频。
4. 跟踪人脸轨道，剔除低质量与非人类（动画、动物）内容。
5. 使用 SyncNet 验证唇音同步并检测音频偏移。
6. 使用 Whisper 生成带词级时间戳的转录，并按语音边界切分片段。 大约一半的原始素材在筛选环节被淘汰。

注意事项

• 转录由自动语音识别生成，可能含有识别错误。
• conf 字段应作为筛选阈值使用：低值代表唇音不同步，可能不适合训练。
• 部分片段画面包含内嵌字幕（subs_frac 大于 0），若以嘴唇区域为输入通常不受影响，但若以整帧为输入建议排除这类片段。
• 素材来源于公开渠道，仅供研究使用，原视频版权归原作者所有。

搜集汇总

数据集介绍

构建方式

该数据集是俄语视觉语音识别（VSR）领域的大规模语料库，由奥克福德大学VGG的MultiVSR公开列表中的视频片段与自主从RuTube采集的数据融合而成。构建流程基于多阶段自动化管道：先利用视觉语言模型筛选‘说话人头像’频道，再对视频进行场景勘探，定位包含足够大小人脸的区域，仅下载所需片段；进而执行人脸跟踪、质量筛选和去除非人类内容（如卡通、动物），并通过SyncNet检测嘴唇与音频的同步性，计算时间偏移；最后使用Whisper进行语音识别，生成带词级时间戳的文本，并按语音边界对视频进行切割。整个管道严格淘汰约半数不符合质量标准的素材，最终形成229,494个片段、总计690小时的高质量数据，远超现有最大俄语公共基准MuAViC的49小时。

特点

数据集具有显著的规模优势与结构规范性，为俄语VSR研究提供了前所未有的资源。其独特之处在于：每个片段均附带丰富的元数据，包括原始转录、规范化文本、逐词时间对齐、人脸边界框、SyncNet同步置信度以及音频-视频偏移等，为多角度的模型训练与评估提供支持。此外，数据集合成了来自不同源的数据，但通过统一的处理管道确保了同质性，且文件夹命名的差异仅为采集痕迹，不具语义分割意义。数据还特别标注了内嵌字幕的帧占比，便于研究人员根据需要过滤。这些特性使数据集既适用于裁剪嘴部区域的传统VSR模型，也能为全帧分析提供测试基础，同时具备可靠的质量控制信息。

使用方法

数据集的使用方式围绕其分层目录结构与轻量级访问模式展开。推荐的操作路径为：首先通过Hugging Face API按文件夹（如‘lips-d’）列出分批目录，避免全仓列举导致的延迟；随后下载指定批次的dataset.jsonl清单文件，利用JSON解析逐行读取每个样本的元数据；接着依据字段中的路径获取对应的MP4视频片段。由于数据集包含超过20万个文件，建议采用按批次的流式或局部遍历方式。用户可依据‘conf’字段筛选高同步质量的样本，依据‘subs_frac’排除含字幕干扰的片段，并利用‘text_norm’作为监督训练的标签。数据集遵循开源许可，但使用时应尊重原始视频的版权，仅限研究用途。

背景与挑战

背景概述

该数据集（rv-4d54f178b0）是由levossadtchi等研究人员于2026年构建的俄语唇读语料库，旨在推动俄语视觉语音识别（VSR）领域的发展。其核心研究问题在于构建一个大规模、高质量且带有精细时间对齐标注的无声视频数据集，以支持仅凭视频帧进行语音识别的模型训练。该数据集包含229,494个剪辑片段，总计690小时，远超现有最大的公共俄语VSR数据集MuAViC（49小时），在规模上实现了数量级的突破，为俄语VSR研究提供了前所未有的数据基础，有望显著提升模型性能，并对多语言VSR技术的泛化研究产生重要影响。

当前挑战

该领域长期受限于数据规模不足和标注质量不稳定的挑战。现有数据集如MuAViC规模较小，难以支撑深度模型的训练；而该数据集在构建过程中面临多重技术挑战：需从海量视频中自动筛选含说话人面部的片段，并有效排除动画、动物等非人类目标；同时，精确的唇部区域提取、人脸跟踪及同步性检测（SyncNet）要求高鲁棒性算法，且实现语音与唇动的帧级对齐（Whisper）并生成词汇级时间戳极具难度。此外，自动语音识别（ASR）转录的固有错误可能引入噪声标签，影响模型训练的准确性，而处理超过200,000个文件的数据集在存储与访问效率上亦需精心设计。

常用场景

经典使用场景

该数据集为俄语视觉语音识别（VSR）研究提供了大规模、高质量的语料资源，其核心使用场景聚焦于唇读模型的训练与评估。研究者可基于视频片段与人脸区域标注，构建端到端的视觉语音识别系统，探索在无音频条件下从口型序列到文本的映射。此外，数据集支持词级时间边界与置信度评估，适用于音视频同步分析、说话人跟踪及多模态融合等前沿课题，为俄语VSR领域树立了新的基准。

解决学术问题

在俄语VSR领域，公开数据集稀缺且规模有限，如MuAViC仅含49小时，制约了深度模型的性能提升。本数据集以690小时规模填补了这一空白，解决了训练数据不足导致的过拟合与泛化难题。其精细的标注（如逐词时间戳、唇音同步置信度）使研究者能够量化评估模型在噪声环境下的鲁棒性，并探索数据清洗策略对识别精度的影响。数据集的发布显著降低了研究门槛，推动了俄语视觉语言理解研究的进展。

衍生相关工作

该数据集的构建方法与规模催生了多项衍生研究方向。一方面，其自动化的数据采集管线（涉及说话人跟踪、SyncNet同步校验及Whisper扩展标注）可复用于其他低资源语言的VSR数据集建设，推动了多语言唇读语料库的生成。另一方面，基于此数据集训练的模型可进一步迁移跨语言视觉特征，促进预训练-微调范式在VSR任务中的探索。同时，数据集的置信度评估机制启发了关于噪声标注鲁棒学习的研究，衍生出面向VSR的数据筛选与增强算法。