AISHELL8-RealScene

AISHELL8-RealScene是一个在真实世界环境中录制的公开多场景、多视角视听对话语料库，专注于包含环境噪声、视角变化、说话人干扰、背景活动、室外场景和对话互动等现实条件。该语料库由AISHELL使用同步多设备录音设置采集。数据内容涵盖普通话对话，采集自五个真实地点（建筑、大厅、酒店、公园、街道），包含室内和室外场景。数据由171位前景说话人参与录制，总时长约102.19小时。数据集提供了多模态数据：音频方面，包含用于转录和对齐的说话人佩戴近场麦克风采集的单通道音频，以及由圆形麦克风阵列（原始16个，公开发布版均匀选取为8个通道）采集的16kHz、16位远场音频；视频方面，包含由三个水平间隔约30度放置的同步高清RGB摄像头（左、中、右视图）采集的、与音频同步的256x256分辨率、25帧/秒的面部视频。数据集已划分为训练集（79.84小时，133个会话/说话人，56组）、开发集（10.70小时，18个会话/说话人，7组）和评估集（11.65小时，20个会话/说话人，7组），且不同划分间的说话人不重叠，所有划分均包含全部五个地点的录音。该数据集适用于音频-视觉语音识别（AVSR）、多模态语音处理、远场语音处理、鲁棒性语音识别、说话人识别以及对话系统等研究领域，尤其适合用于在复杂真实环境下开发和评估相关模型的性能。数据集采用CC BY-NC-SA 4.0许可证发布，仅限于学术和非商业研究使用。AISHELL8-RealScene is a publicly available multi-scene, multi-view audio-visual dialogue corpus recorded in real-world environments, focusing on realistic conditions such as environmental noise, viewpoint changes, speaker interference, background activities, outdoor scenes, and conversational interactions. The corpus was collected by AISHELL using a synchronized multi-device recording setup. The data content includes Mandarin conversations collected from five real locations (building, hall, hotel, park, street), covering both indoor and outdoor scenes. The data involves 171 foreground speakers, with a total duration of approximately 102.19 hours. The dataset provides multimodal data: in terms of audio, it includes single-channel audio from near-field microphones worn by speakers for transcription and alignment, as well as far-field audio at 16kHz and 16-bit from a circular microphone array (originally 16 channels, uniformly selected as 8 channels in the publicly released version); in terms of video, it includes synchronized facial videos at 256x256 resolution and 25 frames per second, captured by three horizontally spaced (approximately 30 degrees apart) synchronized high-definition RGB cameras (left, center, right views). The dataset is divided into a training set (79.84 hours, 133 sessions/speakers, 56 groups), a development set (10.70 hours, 18 sessions/speakers, 7 groups), and an evaluation set (11.65 hours, 20 sessions/speakers, 7 groups), with no overlap of speakers between different splits, and all splits include recordings from all five locations. This dataset is suitable for research areas such as audio-visual speech recognition (AVSR), multimodal speech processing, far-field speech processing, robust speech recognition, speaker recognition, and dialogue systems, particularly for developing and evaluating related models in complex real-world environments. The dataset is released under the CC BY-NC-SA 4.0 license and is limited to academic and non-commercial research use.

原始信息汇总

数据集概述：AISHELL8-RealScene

AISHELL8-RealScene 是一个公开的多场景、多视角音视频会话语料库，专注于真实世界环境下的语音与视觉数据。

核心属性

属性	数值
语言	中文（普通话）
许可证	CC BY-NC-SA 4.0
总时长	102.19 小时
说话人	171 位前景说话人
场景	5 个真实世界地点
录制风格	会话式语音
音频	近场 + 远场
视频	多视角 RGB 面部视频
采样率	16 kHz
远场音频	8 通道
视频分辨率	256×256 @ 25 fps

录制环境

语料库包含来自五个真实世界地点的录音：

• L1: 建筑物（室外）
• L2: 大厅（室内）
• L3: 酒店（室内）
• L4: 公园（室外）
• L5: 街道（室外）

录音涵盖室内和室外场景。

音频规格

• 近场音频: 每位前景说话人佩戴近讲麦克风，用于转录和对齐。
• 远场音频: 使用 16 麦克风环形阵列录制。公开版本提供8通道远场音频（均匀选取阵列中的麦克风）。
• 格式: .wav 文件，采样率 16 kHz。近场为单声道，远场为 8 声道。

视频规格

• 使用三台同步的 HD RGB 摄像机以约 30° 的水平角度间隔（左 D0、中心 D1、右 D2）捕获。
• 参数: 分辨率 256×256，帧率 25 fps。
• 释放的面部视频与音频同步。

数据集统计与划分

数据集被划分为训练集、开发集和评估集，且三者之间的说话人不重叠。所有划分均包含来自全部五个地点的录音。

划分	时长 (小时)	对话轮次	组数	说话人数
训练集	79.84	133	56	133
开发集	10.70	18	7	18
评估集	11.65	20	7	20
总计	102.19	171	70	171

相关资源

• 论文: arXiv 2606.05763 (https://arxiv.org/abs/2606.05763)
• 项目页面: 即将上线

搜集汇总

数据集介绍

构建方式

AISHELL8-RealScene是一个面向真实场景的多视角音视频对话语料库。其构建基于一套精心设计的同步多设备采集系统，涵盖五个真实世界地点，包括建筑物、大厅、酒店、公园与街道，兼顾室内与室外环境。录音过程中，每位前景说话人佩戴近距离麦克风以获取清晰的近场音频，同时由16通道环形麦克风阵列采集远场音频，并公开8通道版本以平衡空间信息保留与数据存储。三台水平排列、角度间隔约30°的高清RGB摄像机同步录制说话人面部视频，提供左、中、右三个视角，最终输出256×256分辨率、25帧/秒的唇部视频。全部数据经过精确对齐，确保音视频时序一致。

特点

该数据集总计包含102.19小时的高质量对话语音，涉及171位前景说话人，分布在70个小组会话中。所有说话人按照训练集、开发集和评估集严格划分，确保不同子集间无说话人重叠，同时每个子集均涵盖全部五个采集地点，保障场景多样性。数据集的突出特点在于其真实环境的复杂性，包括环境噪声、视角变化、说话人干扰、背景活动以及室外场景等挑战性因素，极大贴近实际应用中的远场与多说话人交互场景。多模态特性尤为显著，同时提供近场与远场音频、多视角面部视频，为鲁棒性音视频语音识别研究提供了坚实基础。

使用方法

该数据集适用于中文普通话的音频、视觉及音视频语音识别任务，尤其适合远场、多视角及多说话人场景的研究。研究者可根据需求灵活选用不同模态：单通道近场音频适用于传统语音识别，8通道远场音频适合阵列信号处理与鲁棒性研究，三视角面部视频则可支持唇读与多视角视觉特征学习。数据集以标准的wav格式提供音频，16kHz采样率与25帧/秒视频同步，便于直接加载至主流深度学习框架。由于采用CC BY-NC-SA 4.0许可，仅限学术与非商业用途，需通过机构邮箱提交申请方可获取数据。配套的学术论文可供进一步了解数据集构建细节与基线实验设计。

背景与挑战

背景概述

AISHELL8-RealScene数据集由AISHELL机构于2026年创建，旨在推动中文多模态视听语音识别领域的实证研究。该数据集聚焦于真实世界环境中的远场多通道音频与多视角视频融合，覆盖室内外五个典型生活场景（如建筑大堂、酒店、公园等），总时长102.19小时，包含171位说话人的自然对话语音。通过同步采集近场麦克风、16通道圆形阵列及三视角高清RGB面部视频，构建了首个大规模公开的中文多场景、多视角视听会话语料库。其发布不仅为远场语音识别、视听语音分离和说话人定位等任务提供了标准化基准，更在学术社区引发了关于噪声鲁棒性、视角变化及多说话人干扰等真实挑战的深入研究。

当前挑战

该数据集涉及的核心领域挑战包括：1）真实环境强噪声与多来源干扰下的语音识别鲁棒性，需克服室内混响、室外环境声、非目标说话人背景活动及对话交织带来的信号退化；2）多视角面部视频在角度、遮挡和光照变化下的音视频同步与特征对齐难题；3）8通道远场阵列的空间信息保持与实际部署中的计算效率矛盾。在构建层面，挑战体现在：同步采集16个麦克风与三个30°间隔摄像头的时序与空间标定；在五类真实场景中获取自然对话而非剧本化语音；避免训练、开发与测试集说话人重叠以保障评估公正性；最终仅保留8通道音频以平衡数据规模与空间信息完整性。

常用场景

经典使用场景

AISHELL8-RealScene 作为首个在真实场景下采集的中文多视角视听对话语料库，常被用于远场语音识别与视听语音识别（AVSR）领域的模型训练与评估。其独特的8通道远场麦克风阵列与三视角同步高清面部视频，使得研究人员能够系统性地探索噪声、视角变化、说话人干扰及背景活动等复杂因素对系统性能的影响。该数据集为多模态融合算法提供了高保真且具有生态效度的测试平台，尤其适合验证语音增强、声源定位及视听特征对齐等经典任务的有效性。

实际应用

在实际应用中，AISHELL8-RealScene 直接服务于智能会议系统、远程沉浸式通信及人机交互界面的设计优化。例如，基于该数据训练的远场语音识别模型可部署于大型会议室或户外公共场所，通过多视角视频辅助精准分离发言人并过滤环境噪声。在智能家居领域，融入视听特征的唤醒与持续对话机制能显著提升多用户场景下的指令识别准确性。此外，该数据集还可用于开发面向听障人士的视觉辅助语音理解工具，以及提升机器人在嘈杂商场或公园等非结构化环境中的听觉感知能力。

衍生相关工作

AISHELL8-RealScene 的问世催生了多项卓有影响力的相关工作。最典型的代表是 M2S-AVSR 框架，它利用模态感知的多视角自监督表征学习显著提升了噪声环境下的识别鲁棒性。此后，研究者基于该数据集衍生出跨视角特征对齐网络、多通道递归说话人分离模块等核心模型。在语音增强方向上，动态空间滤波与双模态注意力解码器的结合成为经典范式。这些工作不仅验证了真实多视图视听数据在促进复杂场景理解中的不可替代性，也为后续构建更大规模、更具挑战性的多模态语料库奠定了方法论基础。