ImViD

ImViD数据集是由清华大学北京移动研究院和中国科学院自动化研究所共同创建的多视角、多模态数据集，包含了7个室内外场景。该数据集采用了一种移动捕捉装置，能够同步记录5K分辨率、60FPS的动态场景视频和音频，支持静态环境和动态场景两种数据采集策略，提供了高质量的沉浸式体验所需的空间定位和细节信息。

The ImViD Dataset is a multi-view and multi-modal dataset co-created by Tsinghua University, Beijing Mobile Research Institute, and the Institute of Automation of the Chinese Academy of Sciences, covering 7 indoor and outdoor scenarios. It adopts a mobile capture device that can synchronously record dynamic scene videos and audio at 5K resolution and 60 FPS. The dataset supports two data collection strategies: static environment and dynamic scene, and provides spatial positioning and detailed information required for high-quality immersive experiences.

搜集汇总

数据集介绍

构建方式

ImViD数据集的构建采用了多视角音频-视频捕捉系统，该系统能够在空间中进行移动，从而捕捉动态场景。捕捉系统由46个同步摄像头组成，安装在可远程控制的移动车上，能够以5K分辨率和60帧每秒的帧率捕捉视频和音频。数据集包含7个室内外场景，每个场景的捕捉时间从1到5分钟不等，涵盖了丰富的动态内容和复杂的前景-背景元素。

使用方法

ImViD数据集可用于沉浸式体积视频的重建及其在虚拟现实（VR）和增强现实（AR）中的应用。研究人员可以利用该数据集进行多视角视频重建、动态光场重建以及声音场重建等任务。数据集还提供了基准测试，用于评估现有算法在沉浸式体积视频重建中的性能。通过该数据集，研究人员可以构建从多视角音视频输入到6自由度多模态沉浸式VR体验的完整流程。

背景与挑战

背景概述

ImViD数据集由清华大学等机构的研究团队于2025年提出，旨在推动沉浸式体积视频技术的发展。该数据集通过多视角、多模态的捕捉系统，记录了动态场景的360°全方位信息，涵盖了室内外多种复杂场景。ImViD的创建标志着虚拟现实（VR）和增强现实（AR）领域的一个重要里程碑，尤其是在6自由度（6-DoF）交互空间和多模态反馈方面。该数据集不仅为体积视频的重建提供了新的基准，还为未来沉浸式媒体内容的生产和应用奠定了坚实的基础。

当前挑战

ImViD数据集在构建过程中面临多重挑战。首先，现有的体积视频数据集大多无法同时满足高分辨率、长时间动态内容、多模态体验和高质量6-DoF交互的要求。其次，数据采集过程中，如何确保多视角视频和音频的严格同步、如何在高帧率和高分辨率下保持数据的完整性，都是技术上的难题。此外，动态场景的光场重建和声场重建在时空一致性、存储效率和渲染速度之间的平衡上，仍然存在显著的挑战。这些问题的解决将直接影响沉浸式体积视频技术的实际应用和推广。

常用场景

经典使用场景

ImViD数据集在虚拟现实（VR）和增强现实（AR）领域中具有广泛的应用，尤其是在沉浸式多模态体验的研究中。该数据集通过多视角、多模态的数据采集，提供了完整的360°场景捕捉，支持6自由度（6-DoF）交互，并结合了高分辨率、高帧率的视频与音频数据。这使得ImViD成为研究沉浸式体视频重建、多模态交互以及高质量虚拟现实体验的理想基准。

解决学术问题

ImViD数据集解决了当前体视频重建中的多个关键问题。首先，它填补了现有数据集在复杂背景、多模态数据和高帧率动态内容方面的空白。其次，通过移动采集设备，ImViD提供了更大的交互空间和更灵活的采集方式，克服了传统静态相机阵列的局限性。此外，该数据集还为动态光场重建和声场重建提供了高质量的多视角输入，推动了4D场景表示和实时渲染技术的发展。

实际应用

在实际应用中，ImViD数据集为教育、医疗、娱乐等领域的沉浸式体验提供了强有力的支持。例如，在教育领域，教师可以通过该数据集创建逼真的虚拟课堂，学生可以在虚拟环境中进行互动学习。在医疗领域，医生可以利用沉浸式体视频进行远程手术指导或患者康复训练。此外，娱乐行业也可以通过该数据集开发更具沉浸感的虚拟现实游戏和电影体验。

数据集最近研究

最新研究方向

近年来，随着虚拟现实（VR）和增强现实（AR）技术的快速发展，沉浸式体视频（Immersive Volumetric Video）成为了该领域的前沿研究方向之一。ImViD数据集的推出为这一领域提供了重要的研究基础。该数据集通过多视角、多模态的捕捉方式，实现了高分辨率、高帧率的动态场景重建，并结合了音频同步，极大地提升了用户在虚拟环境中的沉浸感。当前的研究热点主要集中在如何通过多视角数据实现高质量的6自由度（6-DoF）交互体验，以及如何通过神经辐射场（NeRF）等技术提升动态场景的重建精度和渲染效率。此外，ImViD数据集还为多模态体验（如视觉与听觉的结合）提供了新的研究平台，推动了沉浸式体视频在娱乐、教育、医疗等领域的应用。该数据集的发布不仅填补了现有数据集的空白，还为未来的研究提供了丰富的实验数据和基准测试，具有重要的学术和产业意义。

相关研究论文

• ImViD: Immersive Volumetric Videos for Enhanced VR Engagement

  清华大学, 北京移动研究院, 中国科学院自动化研究所 · 2025年