MultiVSR2LRS3 (MV2LRS3)

MV2LRS3是一个严格控制的视听语音数据集，从MultiVSR中抽样，以严格匹配LRS3测试分布，旨在评估最先进语音识别器的真正泛化能力。MV2LRS3 is a strictly controlled audiovisual speech dataset sampled from MultiVSR, which is intended to strictly match the test distribution of LRS3 and evaluate the true generalization capabilities of state-of-the-art speech recognizers.

原始信息汇总

数据集概述：MultiVSR2LRS3 (MV2LRS3)

MV2LRS3 是一个严格控制条件下的音视频语音数据集，从 MultiVSR 数据集中子采样得到，旨在严格匹配 LRS3 测试集的分布，用于评估最先进语音识别模型的真实泛化能力。

数据集结构

下载并解压后，目录结构如下：

• data/：存放原始媒体文件
  • 每个视频片段对应一个子目录（如 vid_id_1/）
  • 包含裁剪后的嘴部区域视频 (00000.mp4) 和音频 (00000.wav)
• manifest/：存放评估子集
  • subset_v1.tsv 至 subset_v5.tsv：5 个随机生成的受控子集变体
  • 10x.tsv：放大了 10 倍的集合
  • .tsv 文件包含转录文本及元数据（时长、年龄、性别、肤色、头部姿态、信噪比、语速）

评估建议

• 推荐在全部 5 个变体子集上运行推理，并报告平均性能指标及标准差。

数据来源与工具致谢

• 基础数据集：MultiVSR
• 预处理流程：auto_avsr
• 开源工具：Uniface、SkinToneClassifier、6DRepNet、WADA-SNR

伦理声明

数据集的元数据通过自动提取工具生成，为算法推断结果，非自我报告身份信息。研究者应谨慎使用这些标签，注意算法偏差和分类简化等局限性。

引用

bibtex @article{lin2026assessing, title={Assessing True Generalisability of Audio-Visual Speech Recognisers}, author={Lin, Zhaofeng and Petridis, Stavros and Pantic, Maja and Harte, Naomi}, journal={arXiv preprint arXiv:2606.07259}, year={2026} }

下载地址

📦 下载 MV2LRS3 数据集

搜集汇总

数据集介绍

构建方式

MV2LRS3数据集是从MultiVSR中精心子采样而来，旨在严格匹配LRS3测试集的分布特征。构建过程中，研究团队通过随机选择流程生成了五个不同的评估子集（subset_v1至subset_v5），每个子集均包含裁剪后的嘴部感兴趣区域视频、对应音频文件及详细的元数据。这些元数据涵盖了时长、年龄、性别、表观肤色、头部姿态、信噪比和语速等维度，确保了数据集在多维度上与LRS3测试集的高度一致性，从而为评估音频-视觉语音识别模型的泛化能力提供了受控的实验基础。

特点

该数据集的核心特点在于其严谨的分布匹配设计，通过五个随机变体版本揭示了模型在不同分布采样下的性能波动，并鼓励研究者报告平均性能及标准差以增强评估的鲁棒性。此外，数据集提供了丰富的元数据，包括人口统计学属性与声学参数，支持对模型在多样化条件下的表现进行细粒度分析。其最大规模子集10倍版可满足对统计显著性的要求，整体设计兼顾了科学严谨性与实用扩展性。

使用方法

使用MV2LRS3数据集时，研究者首先需下载并解压文件，其目录结构包含原始媒体文件（data文件夹）和评估清单（manifest文件夹）。推荐在所有五个评估子集上运行模型推理，并计算平均性能指标与标准差以反映泛化能力的稳定性。每个子集的TSV文件提供了转录文本及完整元数据，便于按需筛选分析。数据集预处理流程可参考auto_avsr工具，而人口统计学元数据源自自动化工具推断，使用时需注意其算法局限性。

背景与挑战

背景概述

在语音识别领域，视听语音识别（Audio-Visual Speech Recognition, AVSR）因其融合音频与视觉信息的优势，显著提升了嘈杂环境下的识别鲁棒性，然而现有模型在跨数据集泛化能力方面的评估仍存在显著空白。为填补这一空缺，Zhaofeng Lin、Stavros Petridis、Maja Pantic 和 Naomi Harte 于2026年在Interspeech会议上提出了MV2LRS3数据集，该数据集从MultiVSR中精心子采样而来，严格匹配LRS3测试集的数据分布，旨在揭示当前最先进视听语音识别模型的真实泛化性能。MV2LRS3的发布为领域内提供了一种标准化、可控的评估基准，通过对模型在不同人口统计学属性（如年龄、性别、肤色）和声学特征（如信噪比、语速）下的表现进行深入剖析，推动了视听语音识别技术的公平性与可推广性研究。

当前挑战

MV2LRS3数据集面临的挑战首先源于视听语音识别本身的核心难题：在真实场景中，噪声、光照变化、头部姿态多样以及说话人身份差异等复杂因素共同干扰模型对音视频特征的融合与解读，导致现有模型在跨数据集测试时性能急剧下降，泛化能力难以保证。其次，数据集构建过程中遭遇了严格的分布匹配挑战，需从规模更大的MultiVSR中抽取样本以精确复现LRS3测试集的统计特征，涉及多维属性（如年龄、性别、肤色、头部姿态、信噪比、语速）的联合控制，且需通过五轮随机子采样生成多个变体以评估结果的变异程度。此外，人口统计学标签依赖自动提取工具而非自我报告，由此带来的算法偏差与标签准确性局限，亦对评估结果的客观性构成制约。

常用场景

经典使用场景

MV2LRS3数据集的核心经典使用场景在于评估和验证当前最先进的音视频语音识别模型（AVSR）的真实泛化能力。传统的语音识别评测往往依赖单一测试集，难以揭示模型在面对复杂多变的真实环境时的鲁棒性。该数据集通过严格匹配LRS3测试集的分布，从MultiVSR中精心子采样而来，为研究者提供了一个公正、可控的评测基准，特别适合用于衡量模型在跨年龄、性别、肤色、头部姿态、信噪比和语速等多种人口统计与声学条件下的性能表现。

实际应用

在实际应用层面，MV2LRS3为部署音视频语音识别系统于多元化的现实场景提供了关键的测试依据。例如，在智能家居助手、无障碍通讯设备、以及嘈杂公共环境中的语音交互系统中，模型需要应对不同用户的年龄、肤色及头部运动等特征。利用该数据集，工程师能够系统性地识别现有模型在特定人口群体或声学条件下的弱点，进而针对性地优化算法，提升产品在复杂人群与环境中的稳定表现，最终实现更公平、更可靠的人机交互体验。

衍生相关工作

MV2LRS3的发布催生了一系列围绕音视频语音识别公平性与泛化性的衍生研究。基于该数据集，研究者得以深入探索数据偏差对模型训练的影响，推动了如多任务去偏训练、动态对抗域适应等方法的提出。同时，其详尽的元数据（年龄、肤色、SNR等）也激发了关于如何构建无偏好的协同学习框架的工作，旨在让模型同时利用音频与视觉线索时，不因某一模态的分布偏移而产生歧视性结果。这些工作共同拓展了AVSR研究从纯粹的性能优化向算法伦理与鲁棒性设计相融合的新方向。