MVS-Synth

MVS-Synth数据集是一个逼真的合成数据集，专为学习型多视角立体算法而准备。该数据集包含120个序列，每个序列由100帧城市场景组成，这些场景来自视频游戏《侠盗猎车手V》。每帧都提供了RGB图像、地面真实深度图和相机参数。

MVS-Synth is a photorealistic synthetic dataset tailored for learning-based multi-view stereo algorithms. The dataset includes 120 sequences, each consisting of 100 frames of urban scenes sourced from the video game Grand Theft Auto V. For each frame, RGB images, ground-truth depth maps and camera parameters are provided.

搜集汇总

数据集介绍

构建方式

MVS-Synth数据集通过电子游戏《侠盗猎车手V》的虚拟引擎构建，精心采集了120个城市景观序列，每个序列包含100帧高保真图像。数据生成过程中同步捕获了RGB图像、真实深度图及相机参数，利用游戏内建渲染引擎模拟复杂光照与材质反射，确保了场景的物理一致性与视觉真实性。

特点

该数据集以照片级真实感为核心优势，其合成场景在上下文连贯性与光影渲染方面显著优于传统合成数据。相较于真实世界数据集，MVS-Synth提供了全覆盖的真实视差标注，包括天空、反射表面和细微结构等传统标注难以覆盖的区域，且所有深度值均以半精度浮点数存储，不存在无效或缺失标注。

使用方法

研究者可通过解压分辩率不同的压缩包（540p至1080p）获取数据，深度图需从EXR格式转换为视差图以供模型训练。相机参数以JSON格式存储，包含外参矩阵、主点坐标和焦距信息。使用前需注意旋转矩阵行列式为-1的特性，必要时需进行坐标系统一化处理。

背景与挑战

背景概述

多视图立体视觉（MVS）作为三维重建领域的核心研究方向，长期依赖于高精度真实数据推动算法发展。MVS-Synth数据集由伊利诺伊大学香槟分校的Po-Han Huang等人于2018年构建，依托《侠盗猎车手V》游戏引擎生成高度逼真的城市场景序列。该数据集包含120个序列、共计12,000帧图像，每帧均提供RGB图像、真实深度图及相机参数，其突破性在于通过合成数据解决了真实数据集中天空、反射表面等区域真值缺失的固有局限，为深度学习驱动的MVS算法提供了兼具规模与精确度的训练资源。

当前挑战

多视图立体视觉面临复杂光照、遮挡与无纹理区域的三维重建挑战，传统真实数据集因传感器限制难以获取完整真值。MVS-Synth通过合成数据克服此难题，但其构建需协调虚拟引擎渲染精度与计算效率，确保深度图在半精度浮点格式下的数值稳定性，同时处理相机外参矩阵旋转行列式为负值的特殊数学性质。此外，合成数据与真实场景的域差异仍是算法泛化的核心挑战，需通过光影模拟与场景多样性设计弥合语义鸿沟。

常用场景

经典使用场景

在计算机视觉领域，多视角立体匹配（MVS）算法的训练常受限于真实数据标注的完整性。MVS-Synth数据集通过120组高保真城市序列，提供每帧RGB图像、精确深度图及相机参数，成为深度学习模型训练的首选基准。其合成数据完美覆盖天空、反射面等传统标注缺失区域，为立体匹配算法提供了前所未有的完整监督信号。

衍生相关工作

以该数据集为基石，衍生出DeepMVS等里程碑式多视角立体匹配框架。后续研究如CVP-MVS、PatchmatchNet等均采用其进行模型验证与比较。该数据集更推动了合成数据与真实数据域自适应研究，催生出大量关于无监督、半监督MVS算法的创新工作，持续推动三维视觉领域的发展。

数据集最近研究

最新研究方向

多视角立体视觉领域正积极探索合成数据与真实数据的协同训练范式，MVS-Synth凭借其逼真的游戏引擎渲染质量和完整的深度真值，成为解决天空、反射表面等复杂场景标注难题的关键资源。该数据集近期被广泛应用于自监督MVS网络训练、域适应算法验证以及神经辐射场（NeRF）的几何先验学习，显著提升了模型在真实场景中的泛化能力。其提供的精确相机参数与连续帧序列，进一步推动了动态场景三维重建与SLAM技术的融合研究。