LUCES

LUCES数据集是由剑桥研究实验室与东芝欧洲合作创建的，专注于近场光度立体成像领域。该数据集包含14个不同材料的真实对象，每个对象由52个LED光源照明，距离相机10至30厘米。数据集不仅包括原始图像，还提供了法线和深度图，用于评估3D重建的准确性。LUCES数据集的创建旨在填补近场光度立体成像方法评估中的数据空白，通过提供多样化的对象材料来评估多种算法，并理解其优缺点。该数据集适用于解决3D形状重建中的复杂物理效应问题，特别是在近场光照条件下。

The LUCES dataset was developed in collaboration between the Cambridge Research Laboratory and Toshiba Europe, focusing on the field of near-field photometric stereo imaging. It contains 14 real objects with distinct materials, each illuminated by 52 LED light sources at a distance of 10 to 30 centimeters from the camera. In addition to raw images, the dataset also provides normal maps and depth maps for evaluating the accuracy of 3D reconstruction. The creation of the LUCES dataset aims to fill the data gap in the evaluation of near-field photometric stereo imaging methods, enabling the assessment of various algorithms and the understanding of their respective strengths and weaknesses by providing objects with diverse material properties. This dataset is suitable for addressing complex physical effects in 3D shape reconstruction, particularly under near-field lighting conditions.

搜集汇总

数据集介绍

构建方式

在计算机视觉领域，三维重建技术常受限于远场假设，而近场点光源光度立体（Near-Field Photometric Stereo）方法则能更精确地捕捉复杂物理效应。LUCES数据集的构建采用了精心设计的实验装置，包括一台配备8mm镜头的FLIR RGB相机和52个OSRAM LED点光源，这些光源以平面布局环绕相机，距离目标物体10至30厘米。每个物体在52种不同光照条件下被拍摄，使用BayerRG16 RAW格式捕获原始图像，并通过高精度光学扫描仪GOM ATOS Core 80/135获取三维地面真值网格。数据采集过程中，通过校准平面和可微分渲染器精确估计光源参数，包括位置、方向、亮度和角耗散因子，确保了光照模型的准确性。此外，数据集还提供了经过径向失真校正的RGB图像、法线图、深度图以及分割掩码，以支持全面的评估。

使用方法

LUCES数据集主要用于评估和比较近场光度立体算法的性能。研究人员可通过下载数据集中的图像、光源参数和地面真值，对现有或新提出的方法进行定量分析，如计算法线图的平均角度误差（MAE）和深度图的平均深度误差（MZE）。使用前，建议先对原始图像进行径向失真校正和去马赛克处理，以获取RGB图像；同时，可利用提供的光源校准参数集成到光照模型中，以模拟近场效应。数据集支持多种评估策略，包括直接比较法线图或深度图，以及通过数值积分或微分方法验证表面连续性。对于深度学习模型，数据集可用于训练或测试，特别适合处理高光或非朗伯材质，但需注意光源配置在训练时需已知。此外，数据集还提供了分割掩码，以排除标记或不可靠区域，确保评估的准确性。

背景与挑战

背景概述

在计算机视觉领域，三维重建技术通过光照信息恢复物体几何形态，一直是研究热点。自Woodham于上世纪八十年代提出光度立体视觉问题以来，该领域经历了从简化远场假设到复杂近场建模的演进。2021年，剑桥大学与东芝欧洲研究实验室的Roberto Mecca等人联合推出了LUCES数据集，这是首个专为近场点光源光度立体视觉设计的真实世界数据集。该数据集包含14种不同材质物体，利用52个LED光源在10至30厘米近距离内进行采集，旨在填补近场场景下算法评估的空白，推动非线性的光照传播、衰减及透视几何等物理效应的精确建模。

当前挑战

LUCES数据集致力于解决近场光度立体视觉中的核心挑战，即如何在点光源近距离照射下，准确重建具有复杂材质和非线性光照效应的物体三维几何。具体挑战包括：1) 领域问题层面，需克服各向异性光传播、光照强度不一致性、非朗伯材质反射以及透视视角几何等物理效应带来的建模复杂性；2) 构建过程中，数据采集面临高光物体曝光控制、环境光与互反射干扰的抑制，以及地面真值获取时激光扫描对金属等反光材质表面噪声处理的难题，同时需确保光照参数校准的精确性以支持算法公平比较。

常用场景

经典使用场景

在计算机视觉领域，光度立体视觉技术致力于从物体表面的明暗变化中恢复三维几何形状。LUCES数据集作为首个专为近场点光源光度立体问题设计的真实世界数据集，其经典使用场景在于为研究人员提供了一个标准化的基准平台，用于评估和比较不同近场光度立体算法的性能。该数据集包含14种不同材质物体的高精度图像序列，每张图像均在52个近场LED光源的照射下捕获，同时提供了经过严格校准的光源参数以及由激光扫描仪获取的地面真实法线图和深度图。这使得研究者能够系统地分析算法在复杂光照条件、各向异性光传播以及透视视角等近场效应下的鲁棒性和准确性，从而推动该领域从理论模型向实际应用的跨越。

解决学术问题

LUCES数据集有效解决了近场光度立体研究中长期存在的关键学术问题。传统光度立体方法通常基于远场假设，即光源被视为无限远处的方向性照明，忽略了光传播中的衰减和非线性效应。然而，在实际应用中，如手持式扫描设备或内窥镜检查，光源与物体的距离较近，导致各向异性光传播、光强衰减以及透视畸变等复杂物理现象。LUCES通过提供包含多种材质（如金属、陶瓷、塑料等）的真实物体数据，填补了该领域缺乏标准化评估数据的空白。它使得研究者能够深入探究近场条件下材质反射特性、光照模型校准以及几何重建精度之间的相互作用，为发展更精确、更稳健的三维重建算法奠定了实证基础。

实际应用

LUCES数据集的实际应用场景广泛涉及工业检测、医疗成像以及文化遗产数字化等领域。在工业制造中，近场光度立体技术可用于高精度零件表面缺陷检测，例如对金属或陶瓷工件进行微观划痕或凹陷的三维重建。医疗领域则受益于内窥镜或手持扫描设备，通过近场照明获取人体组织或器官的详细表面形貌，辅助诊断和手术规划。此外，在文化遗产保护中，该技术能够非接触式地数字化珍贵文物，如雕塑或陶瓷器皿，精确捕捉其表面纹理和几何细节，为修复和存档提供可靠数据。LUCES数据集通过模拟真实世界中的复杂光照和材质条件，为这些应用场景中的算法开发和系统优化提供了关键支持。

数据集最近研究

最新研究方向

在计算机视觉领域，光度立体视觉技术致力于从多光源图像中恢复物体的三维几何形状。LUCES数据集的推出，标志着近场点光源光度立体研究迈入新阶段，其前沿方向聚焦于深度学习与物理模型的深度融合。当前研究热点在于利用卷积神经网络处理非线性的近场光照效应，如各向异性光传播和透视几何畸变，同时探索无需依赖表面可微假设的直接深度回归方法。该数据集通过提供多种材质物体的真实世界图像与高精度地面真值，推动了算法在复杂边缘和间断区域的鲁棒性优化，对工业检测、医疗内窥镜成像等实际应用具有深远影响。

相关研究论文

• LUCES: A Dataset for Near-Field Point Light Source Photometric Stereo

  剑桥研究实验室，东芝欧洲，剑桥，英国 · 2021年