BlendedMVS

BlendedMVS是一个大规模的多视角立体网络训练数据集，由香港科技大学创建。该数据集包含超过17,000张高分辨率图像，覆盖城市、建筑、雕塑和小型物体等多种场景。数据集的创建过程涉及从精选场景的图像中恢复高质量的纹理网格，然后渲染这些网格模型以生成彩色图像和深度图。为了在训练中引入环境光照信息，渲染的彩色图像进一步与输入图像混合以生成训练输入。BlendedMVS数据集旨在解决多视角立体视觉任务中训练数据不足的问题，显著提高模型的泛化能力。BlendedMVS is a large-scale multi-view stereo training dataset developed by The Hong Kong University of Science and Technology. It contains over 17,000 high-resolution images covering diverse scenarios including urban scenes, buildings, sculptures and small objects. The dataset creation workflow involves recovering high-quality textured meshes from images of carefully selected scenes, then rendering these mesh models to generate color images and depth maps. To incorporate environmental lighting information during training, the rendered color images are further blended with input images to produce training inputs. BlendedMVS aims to address the shortage of training data in multi-view stereo tasks and significantly enhances the generalization ability of models.

搜集汇总

数据集介绍

构建方式

BlendedMVS数据集的构建方法新颖而高效，它首先利用3D重建流程从精心挑选的场景图像中恢复出高质量的带纹理的网格模型。随后，这些网格模型被渲染成不同视角下的彩色图像和深度图。为了在训练过程中引入环境光照信息，渲染的彩色图像与输入图像进一步融合，以生成训练输入。最终，这些图像继承了渲染彩色图像的详细视觉线索，并与渲染的深度图保持一致对齐。同时，融合的图像仍然在很大程度上保留了输入图像中的真实环境光照信息，有助于训练模型更好地泛化到现实世界的场景。

特点

BlendedMVS数据集的特点显著，它包含了超过17,000张高分辨率图像，覆盖了各种场景，包括城市、建筑、雕塑和小物体。与DTU数据集不同，BlendedMVS中的场景包含各种不同的相机轨迹，这些非结构化的相机轨迹能够更好地模拟不同的图像捕捉风格，使网络更能够泛化到现实世界的重建。此外，数据集还提供了统一的图像分辨率和深度范围，为深度图估计算法提供了必要的信息。在线数据增强过程进一步提高了训练数据的多样性，通过随机亮度、对比度和运动模糊等操作，增强了模型的泛化能力。

使用方法

使用BlendedMVS数据集的方法包括准备数据、训练模型和评估模型。首先，将所有训练样本调整到统一的图像分辨率，然后从调整后的图像中心裁剪出图像块以构建训练样本。相应的相机参数也会相应地调整。在训练过程中，可以应用在线数据增强来进一步提高训练数据的多样性。使用BlendedMVS数据集训练的模型在多个基准测试中表现出优异的泛化能力，证明了数据集的有效性。

背景与挑战

背景概述

BlendedMVS数据集是针对多视图立体视觉（MVS）训练而创建的，旨在为基于学习的MVS网络提供充足的训练数据。该数据集由香港科技大学的研究团队与Everest Innovation Technology以及浙江大学合作开发，于2020年4月发布。BlendedMVS数据集的创建是为了解决当前MVS网络训练中数据集规模有限的问题，这限制了模型在未见场景下的泛化能力。BlendedMVS数据集包含了超过17,000张高分辨率图像，涵盖了城市、建筑、雕塑和小型物体等多种场景。该数据集的构建采用了3D重建流程，从精选场景的图像中恢复高质量的纹理网格，并将这些网格模型渲染成彩色图像和深度图。为了在训练过程中引入环境光照信息，渲染的彩色图像与输入图像进一步混合生成训练输入。BlendedMVS数据集的发布为MVS领域提供了宝贵的资源，显著提升了训练模型的泛化能力，对相关领域的研究产生了深远影响。

当前挑战

BlendedMVS数据集面临的挑战主要包括：1)领域问题挑战：多视图立体视觉（MVS）重建需要从多视角图像和相应的相机参数中恢复场景的密集表示，而当前学习型方法通常在特定的小型对象数据集上训练，难以泛化到其他场景。2)构建过程中的挑战：构建大规模的MVS数据集需要昂贵的主动扫描仪和劳动力密集型的过程来获取真实的3D结构，而BlendedMVS采用了一种低成本的数据生成流程，通过将纹理3D模型渲染到不同的视点来生成训练图像和深度图，以解决这一难题。此外，数据集中还包含像素级的遮挡和法线信息，这为未来的可见性感知和基于补丁的MVS方法提供了可能。

常用场景

经典使用场景

BlendedMVS数据集主要用于训练多视角立体网络，通过从多个视角的图像中重建场景的密集表示。该数据集提供了超过17,000张高分辨率图像，覆盖了城市、建筑、雕塑和小型物体等多种场景，为基于学习的多视角立体重建提供了充足的训练数据。

实际应用

BlendedMVS数据集在实际应用中可用于3D重建、图像检索、图像特征检测和描述、相机位姿回归、单视角/多视角深度/法线估计以及视差估计等任务。该数据集的高质量训练样本和多样化的场景覆盖，使其在3D几何相关任务中具有广泛的应用前景。

衍生相关工作

BlendedMVS数据集的提出，促进了多视角立体重建领域的发展。基于BlendedMVS，研究人员进一步构建了BlendedMVG数据集，用于解决更广泛的3D几何问题。此外，BlendedMVS数据集的合成方法和图像融合技术，也为其他计算机视觉任务的数据集构建提供了新的思路和方法。