yangwang825/vox2-veri-full

VoxCeleb2数据集包含超过100万条来自6,112位名人的语音片段，这些片段是从YouTube视频中提取的。数据集分为训练集、验证集和测试集，分别包含5,994位说话者的982,808个样本、5,994位说话者的109,201个样本和118位说话者的36,237个样本。每个样本包含ID、持续时间、波形文件路径、起始和停止索引以及说话者ID等信息。The VoxCeleb2 dataset contains over 1 million speech segments from 6,112 celebrities, which are extracted from YouTube videos. The dataset is split into training, validation, and test sets, with 982,808 samples from 5,994 speakers, 109,201 samples from 5,994 speakers, and 36,237 samples from 118 speakers respectively. Each sample contains information such as ID, duration, waveform file path, start and stop indices, and speaker ID.

原始信息汇总

数据集概述

数据集名称

VoxCeleb 2

数据集描述

VoxCeleb2 包含超过100万条来自6,112位名人的语音样本，这些样本是从YouTube上传的视频中提取的。

数据集划分

划分	训练集	验证集	测试集
说话人数	5,994	5,994	118
样本数	982,808	109,201	36,237

数据字段

• ID (字符串): 样本ID，格式为 <spk_id--utt_id_start_stop>。
• duration (浮点数): 片段持续时间，单位为秒。
• wav (字符串): 波形文件路径。
• start (整数): 片段起始索引，等于 (起始秒数) × (采样率)。
• stop (整数): 片段结束索引，等于 (结束秒数) × (采样率)。
• spk_id (字符串): 说话人ID。

示例

json { ID: id09056--00112_0_89088, duration: 5.568, wav: id09056/U2mRgZ1tW04/00112.wav, start: 0, stop: 89088, spk_id: id09056 }

搜集汇总

数据集介绍

构建方式

VoxCeleb 2数据集源于YouTube平台上的海量视频资源，旨在为音频分类与说话人验证任务提供大规模、多样化的训练与评估数据。其构建过程遵循严谨的自动化流水线：首先从公开视频中提取音频轨道，随后利用人脸检测与跟踪技术定位说话人，并基于唇动分析筛选出包含特定说话人的片段。最终，这些片段被切割为短时语音单元，并依据说话人身份进行标注，形成超过百万条话语的集合，覆盖6,112位名人。数据集进一步划分为训练集、验证集和测试集，其中训练集包含5,994位说话人的约98万条样本，测试集则引入118位未见说话人，以评估模型的泛化能力。

特点

该数据集的核心特点在于其规模宏大与身份覆盖的广泛性，其话语数量超过百万，说话人数量逾六千，为深度学习模型提供了充足的训练素材。数据字段设计精巧，每条样本包含唯一标识符、语音时长、波形文件路径以及精确的起止索引，便于研究人员灵活处理音频片段。尤为重要的是，数据集明确区分了训练与测试阶段的说话人集合，测试集中的118位说话人完全独立于训练集，这为说话人验证任务提供了严格的零样本评估场景。此外，所有音频均源自真实、无约束的YouTube视频，背景噪声与口音多样性丰富，增强了模型在现实环境中的鲁棒性。

使用方法

使用该数据集时，研究人员可直接通过Hugging Face Datasets库加载，例如调用`load_dataset('yangwang825/vox2-veri-full')`获取预划分的验证集与测试集。每个样本以字典形式提供，包含`wav`字段指向本地音频文件路径，以及`start`和`stop`字段定义有效语音段的时间范围。对于说话人验证任务，用户可基于`spk_id`构建正负样本对，或直接利用官方划分的测试协议进行评估。建议在使用前将音频重采样至16kHz，并依据`start`和`stop`索引裁剪原始波形，以确保与VoxCeleb社区的标准预处理流程一致。数据集的引用应遵循原始VoxCeleb2论文的规范。

背景与挑战

背景概述

VoxCeleb2数据集由牛津大学视觉几何组（VGG）于2018年创建，是声纹识别与说话人验证领域的里程碑式资源。该数据集从YouTube视频中提取，涵盖6,112位名人的超过100万条语音片段，旨在解决大规模、多场景下的说话人识别问题。其核心研究价值在于提供了极具挑战性的真实世界语音数据，包括嘈杂环境、不同口音、语速及情感状态，显著推动了端到端说话人嵌入学习与验证技术的发展。VoxCeleb2已成为训练和评估现代声纹识别模型的基准数据集，被广泛应用于学术研究与工业系统开发，对提升语音生物识别技术的鲁棒性和泛化能力产生了深远影响。

当前挑战

该数据集所解决的领域挑战主要在于真实场景下的说话人验证任务，需应对背景噪声、信道失真、说话人风格变异及短语音片段等复杂因素，要求模型具备强判别性与不变性特征提取能力。构建过程中面临的挑战包括：从海量YouTube视频中自动化提取高质量语音片段并准确标注说话人身份，处理多语种、多口音及不同录音设备带来的数据异质性，以及确保训练集与测试集间说话人无重叠以避免信息泄露。此外，验证集与测试集规模的不平衡（训练集含5,994位说话人，测试集仅118位）也对模型泛化性评估提出了更高要求。

常用场景

经典使用场景

VoxCeleb 2数据集作为大规模说话人识别领域的基石，其经典使用场景聚焦于声纹验证任务。研究者利用其涵盖6,112位名人的逾百万条语音片段，构建基于深度神经网络的嵌入模型，如ECAPA-TDNN或ResNetSE，以学习说话人身份的不变表征。该数据集通过提供丰富的跨语言、跨通道和噪声环境样本，成为评估验证系统鲁棒性的黄金标准，尤其在训练与测试集划分（含118位未见说话人）下，支撑了开集识别范式的标准化实验设计。

实际应用

在实际应用中，VoxCeleb 2衍生的声纹验证技术已广泛嵌入智能语音助手、金融安全认证和司法取证系统。例如，银行电话客服中基于该数据集训练的模型可实时核验用户身份，防范欺诈风险；智能音箱通过说话人识别实现个性化服务，如区分家庭成员并自动切换账户权限。此外，该数据集在刑侦领域辅助语音证据比对，通过提取录音中嫌疑人的独特声学特征，缩小侦查范围，展现了从实验室研究到产业落地的强劲转化能力。

衍生相关工作

VoxCeleb 2催生了多项经典工作，其中最具代表性的是ECAPA-TDNN（2020年）和WavLM（2022年）。ECAPA-TDNN通过引入通道注意力机制和残差连接，在VoxCeleb验证集上实现了当时最优的等错误率，成为后续研究的基准架构。WavLM则利用该数据集预训练掩码语音模型，将自监督学习范式成功迁移至说话人识别领域。此外，基于VoxCeleb 2的域自适应方法（如AdaBN）和对抗训练技术，进一步解决了跨设备、跨语言场景下的性能退化问题，推动了声纹识别技术的持续演进。