Real Acoustic Fields (RAF)

Real Acoustic Fields (RAF) 数据集是由Meta Reality Labs Research创建的多模态真实声学房间数据集，包含密集的3D音频捕获，涵盖大型空间，无论有无家具。数据集通过定制的麦克风塔系统和机器人扬声器支架捕获，包含36个全向麦克风，分布在不同高度和位置，以及能够旋转和定位扬声器的机器人支架。此外，使用动作捕捉系统精确跟踪场景中麦克风和扬声器的姿态。RAF数据集包含高保真密集RIR，来自现有语音数据集的语音记录，位置标注和视觉重建，适用于音频和视听神经声场建模技术的研究，旨在解决真实世界声学建模的复杂性问题。

The Real Acoustic Fields (RAF) dataset is a multimodal real acoustic room dataset created by Meta Reality Labs Research. It contains dense 3D audio captures covering large-scale spaces with or without furniture. Captured using a custom microphone tower system and robotic speaker mounts, the dataset includes 36 omnidirectional microphones deployed at varying heights and positions, as well as robotic mounts capable of rotating and positioning speakers. Additionally, a motion capture system is used to precisely track the poses of microphones and speakers in the scene. The RAF dataset also includes high-fidelity dense room impulse responses (RIRs), speech recordings sourced from existing speech datasets, position annotations and visual reconstructions. It is suitable for research on audio and audiovisual neural sound field modeling techniques, and aims to address the complexity of real-world acoustic modeling.

搜集汇总

数据集介绍

构建方式

在声学建模领域，高质量真实数据的稀缺长期制约着神经声场技术的发展。Real Acoustic Fields (RAF) 数据集的构建采用了创新的多模态采集方案，通过定制化的“Earful Tower”麦克风阵列与机器人化扬声器支架，在真实室内环境中实现了密集的三维声学采样。该阵列集成36个全向麦克风，以倒松果状分布在不同高度，重点覆盖人耳高度区域；机器人支架可编程控制扬声器高度与120度轴向旋转，以捕捉声源指向性数据。整套系统配合OptiTrack运动捕捉系统对设备位姿进行六自由度精确追踪，同步采集对数扫频信号与语音样本，最终在空置与家具布置两种房间配置下，分别获取了4.7万与3.9万条长达4秒的脉冲响应数据，采样率达48kHz/32bit。

特点

该数据集的核心特征在于其前所未有的真实性与多维密度。作为首个提供密集三维真实声场测量的多模态数据集，RAF不仅包含高保真脉冲响应，还通过“Eyeful Tower”多相机阵列采集了数千张多视角图像，并利用VR-NeRF技术重建出高视觉逼真度的神经辐射场模型。数据覆盖了同一物理空间在空置与家具布置两种声学条件下的对比场景，精确记录了声源与接收器的六自由度位姿，空间采样密度达到每立方米372个样本，远超以往仅提供二维或稀疏采样的数据集。这种真实几何、材料变化与声源指向性的完整保留，为建模复杂现实声学环境提供了黄金标准。

使用方法

该数据集主要服务于神经声场建模与新颖视角声学合成的研究。研究者可利用其密集的脉冲响应与对应的视觉数据，训练或评估如NAF、INRAS、NACF等音频与视听声场模型在三维真实场景下的性能。数据集支持对模型在清晰度、混响时间等声学指标上的系统评测，并可用于探究视觉信息（RGB与深度）对声场建模的增强作用。此外，数据集特别适用于少样本学习研究，其提出的“模拟到真实”方法允许模型先在合成数据上预训练，再用少量真实样本微调，显著提升了在数据稀缺场景下的合成质量。数据已划分为训练、验证与测试集，便于进行可复现的基准测试。

背景与挑战

背景概述

在空间音频渲染与神经声场建模领域，高保真房间脉冲响应的获取一直是核心研究难题。Real Acoustic Fields (RAF) 数据集由密歇根大学与Meta Codec Avatars实验室的研究团队于2024年共同创建，旨在解决现有声学数据集在真实性、数据密度与多模态对齐方面的局限。该数据集首次提供了在真实室内场景中密集采集的三维房间脉冲响应数据，并配以多视角视觉重建与精确的六自由度位姿追踪，为神经声场建模技术建立了首个基于真实数据的评估基准。其核心研究问题聚焦于如何从稀疏观测中合成任意发射-接收位姿下的高保真脉冲响应，从而推动沉浸式音频、虚拟现实等应用领域的发展。

当前挑战

RAF数据集所针对的领域挑战在于神经声场建模从仿真数据到真实场景的迁移。具体而言，现有方法在高度简化的合成数据上训练，难以捕捉真实世界复杂的房间几何、材料属性与声源指向性，导致生成脉冲响应的保真度不足。在构建过程中，挑战主要体现在数据采集的复杂度：需在三维空间内对声源与接收器进行密集采样，同时确保多模态（音频、视觉、位姿）数据的高精度同步与空间对齐。此外，真实脉冲响应的采集成本高昂、流程繁琐，限制了数据规模的扩展，使得构建覆盖多样场景的高密度数据集尤为困难。

常用场景

经典使用场景

在空间音频渲染与神经声场建模领域，Real Acoustic Fields (RAF) 数据集为研究者提供了首个密集采集的真实三维房间脉冲响应数据，其经典应用场景集中于新颖视角声学合成任务。通过结合高保真的多视角图像与精确的六自由度位姿追踪数据，该数据集使得模型能够学习复杂真实场景中声波与几何结构、材料属性的交互关系，从而预测任意发射器-听者位置对的房间脉冲响应。这一场景直接推动了神经声场方法从仿真环境向真实世界应用的过渡，为评估音频与视听融合模型的性能建立了可靠基准。

实际应用

在实际应用层面，RAF 数据集为虚拟现实、增强现实及三维游戏中的沉浸式空间音频渲染提供了关键数据支撑。其高保真的房间脉冲响应能够用于生成逼真的环境混响与声学效果，增强用户体验的真实感。此外，数据集支持的视听神经声场技术可应用于智能会议室的声音优化、声学环境模拟以及辅助听觉设备的设计，通过精确建模声音在复杂室内环境中的传播，助力实现更自然、更具空间感的音频交互与通信系统。

衍生相关工作

基于RAF数据集，多项经典工作得以深化与验证，包括神经声场（NAF）、隐式神经音频场景表示（INRAS）及其视听扩展版本神经声学上下文场（NACF）和AV-NeRF等模型在三维真实场景中的性能评估与改进。该数据集还催生了高效的“仿真到真实”少样本学习范式，通过合成数据预训练与稀疏真实数据微调相结合的策略，显著提升了模型在有限真实样本下的泛化能力。这些衍生研究共同推动了视听神经声学建模领域向更复杂、更真实的场景迈进。