LUCES-MV

LUCES-MV是由东芝欧洲剑桥团队创建的多视角近场点光源光度立体数据集，旨在解决现有光度立体数据集在复杂物体和近场光照条件下的不足。该数据集包含15个具有多样材质和形状的对象，每个对象在15个LED光源的不同光照条件下进行拍摄，提供了高分辨率图像（2080×1552像素）和详细的相机与光源校准信息。数据集的创建过程包括精确的3D扫描和校准，确保了数据的高质量和可重复性。LUCES-MV主要应用于光度立体技术中的3D形状重建，特别是在复杂材质和形状的物体上，推动了该领域的研究进展。LUCES-MV is a multi-view near-field point-light photometric stereo dataset developed by the Toshiba Europe Cambridge team, aiming to address the limitations of existing photometric stereo datasets in scenarios involving complex objects and near-field illumination. This dataset includes 15 objects with diverse materials and shapes. Each object was captured under varying lighting conditions using 15 LED light sources, providing high-resolution images (2080×1552 pixels) as well as detailed camera and light source calibration information. The dataset was constructed via precise 3D scanning and calibration, ensuring high data quality and reproducibility. LUCES-MV is primarily applied to 3D shape reconstruction in photometric stereo technology, especially for objects with complex materials and shapes, thus advancing research progress in this field.

搜集汇总

数据集介绍

构建方式

LUCES-MV数据集的构建旨在填补近场点光源光度立体（Photometric Stereo）领域中真实世界数据集的空白。该数据集包含了15个具有多样材质和形状的物体，每个物体在15个LED光源的不同光照条件下进行拍摄，光源与相机中心的距离为30至40厘米。为了确保数据的透明性和可重复性，数据集不仅提供了地面真实法线和物体网格，还包括了光源和相机的校准图像。通过使用高分辨率（2080×1552像素）的图像采集系统，结合精确的校准过程，确保了数据集的高质量和真实性。

特点

LUCES-MV数据集的显著特点在于其多视角和高分辨率的图像采集，以及对近场光照条件的精确控制。数据集包含了10个已对齐的物体和5个未对齐的物体，涵盖了从简单到复杂的多种形状和材质，如金属、陶瓷、木材等。此外，数据集还提供了原始的未处理图像，以避免因图像处理带来的伪影，并支持用户进行重新校准。这些特性使得LUCES-MV成为评估和开发近场光度立体3D重建方法的重要基准。

使用方法

LUCES-MV数据集适用于多种光度立体算法的评估和开发，尤其是近场光度立体的单视图、双视图和多视图重建任务。用户可以利用数据集中的高分辨率图像、地面真实法线和网格、以及光源和相机的校准信息，进行算法的训练和测试。数据集还提供了多种材质和形状的物体，帮助研究人员评估算法在不同复杂度下的表现。此外，数据集的开放性允许用户进行重新校准和自定义处理，以适应不同的研究需求。

背景与挑战

背景概述

近年来，光度立体（Photometric Stereo, PS）领域的显著进展得益于可微分体积渲染技术的应用，如NeRF和Neural SDF，这些技术在DiLiGenT-MV基准测试中实现了0.2mm的惊人重建误差。然而，尽管环境光照对象的数据集（如Digital Twin Catalogue）较为丰富，但专门针对近场点光源光度立体的数据集却相对匮乏，且这些数据集通常缺乏具有挑战性的对象（如简单、光滑、无纹理的物体）以及实用的近场光照设置。为填补这一空白，Fotios Logothetis、Ignas Budvytis、Stephan Liwicki和Roberto Cipolla等人提出了LUCES-MV数据集，这是首个为近场点光源光度立体设计的真实世界多视角数据集。该数据集包含15个具有多样材质的对象，每个对象在15个LED光源的不同光照条件下进行拍摄，光源与相机中心的距离为30至40厘米。LUCES-MV不仅提供了地面真实法线和物体网格，还包含了光照和相机的校准图像，旨在为开发更鲁棒、精确和可扩展的现实世界光度立体3D重建方法提供重要基准。

当前挑战

LUCES-MV数据集的构建面临多重挑战。首先，近场光度立体技术需要处理复杂的光照条件和物体材质，这对算法的鲁棒性和精度提出了高要求。其次，数据集的构建过程中，如何确保光照和相机校准的准确性，以及如何处理复杂形状和材质的物体，都是技术上的难点。此外，数据集的多样性和规模也带来了挑战，如何选择具有代表性的物体并确保其多样性，同时保持数据集的可扩展性，是数据集设计中的关键问题。最后，评估现有光度立体算法的性能时，如何有效区分算法在不同材质和形状复杂度下的优劣，也是该数据集需要解决的挑战之一。

常用场景

经典使用场景

LUCES-MV数据集的经典使用场景主要集中在近场点光源光度立体技术的研究与应用中。该数据集通过提供15个具有多样材质和形状的物体在不同光照条件下的多视角图像，支持研究人员开发和评估近场光度立体算法。其高分辨率图像和详细的相机与光源校准信息，使得该数据集成为研究多视角光度立体技术、单视角法线估计以及双目光度立体技术的理想平台。

衍生相关工作

LUCES-MV数据集的发布催生了一系列相关的经典工作，特别是在多视角光度立体技术的研究中。例如，基于该数据集的评估，研究人员开发了多种先进的算法，如Supernormal、RNb-NeuS和NPLMV-PS，这些算法在法线估计和3D重建方面取得了显著进展。此外，该数据集还推动了对近场光度立体技术的深入研究，促进了神经渲染和深度学习在光度立体领域的应用。

数据集最近研究

最新研究方向

近年来，光度立体（Photometric Stereo, PS）领域的研究取得了显著进展，尤其是在可微分体积渲染技术（如NeRF和Neural SDF）的应用上，这些技术在DiLiGenT-MV基准测试中实现了0.2mm的惊人重建误差。然而，尽管环境光照对象的数据集（如Digital Twin Catalogue）较为丰富，但针对近场点光源光度立体的数据集却相对匮乏，且往往缺乏具有挑战性的对象和实际应用中的小型光源设置。为填补这一空白，LUCES-MV数据集应运而生，成为首个专为近场点光源光度立体设计的多视角真实世界数据集。该数据集包含15个具有多样材质的对象，每个对象在15个LED光源的不同光照条件下进行成像，光源与相机中心的距离为30至40厘米。LUCES-MV不仅提供了地面真实法线和网格，还提供了光源和相机的校准图像，为透明端到端评估提供了便利。通过对当前最先进的近场光度立体算法进行评估，LUCES-MV揭示了这些算法在不同材质和形状复杂性上的优势与局限，为开发更鲁棒、精确和可扩展的现实世界光度立体3D重建方法提供了重要基准。

相关研究论文

• LUCES-MV: A Multi-View Dataset for Near-Field Point Light Source Photometric Stereo

  东芝欧洲剑桥 · 2024年