3D-printed objects dataset, fallen leaves dataset

本文使用了一种新的方法，名为差分移动显示光度立体（DMDPS），该方法通过手机上的显示和摄像头来捕捉图像，并进行表面法线重建。研究中采用了两种数据集：一种是真实世界的3D打印对象，用于获取训练数据集的地面真相；另一种是落叶数据集，通过该方法揭示了重建的表面法线和反照率。3D打印对象数据集是通过捕获3D打印对象的基照明图像并使用相应的3D建模文件获得地面真实表面法线图来创建的。落叶数据集则是在野外对象上应用DMDPS，展示了从这些对象中重建的表面法线和反照率。

This paper presents a novel method termed Differential Mobile Display Photometric Stereo (DMDPS), which captures images via the display and built-in camera of a smartphone and conducts surface normal reconstruction. Two datasets are employed in this study: one is a real-world 3D printed object dataset used to acquire the ground truth for the training dataset, and the other is a deciduous leaf dataset, where the reconstructed surface normals and albedo are revealed through this method. The 3D printed object dataset is created by capturing base illumination images of 3D printed objects and obtaining ground-truth surface normal maps using their corresponding 3D modeling files. The deciduous leaf dataset, by contrast, applies DMDPS on field objects and demonstrates the reconstructed surface normals and albedo derived from these objects.

搜集汇总

数据集介绍

构建方式

该数据集的构建方式涉及使用3D打印物体和落叶作为研究对象。研究者利用3D打印技术制作了多种物体，并利用手机屏幕作为光源，通过移动手机应用控制屏幕显示不同的光照模式，然后用手机的前置摄像头捕捉物体的图像。此外，还利用HDR成像技术来提高图像质量。通过这种方式，研究者成功捕捉了真实世界的3D打印物体和落叶的表面法线图和反射率数据。

特点

该数据集的特点在于其新颖的构建方式，利用移动设备进行光照模式和图像捕捉，使得数据集的获取更加便捷和灵活。此外，该数据集包含了真实世界的3D打印物体和落叶的表面法线图和反射率数据，这些数据对于计算机图形学和计算机视觉领域的研究具有重要意义。

使用方法

该数据集的使用方法是通过研究者提供的移动应用进行光照模式和图像捕捉。用户可以上传所需的光照模式，并调整ISO值、曝光时间和帧持续时间等参数。此外，该数据集还可以用于训练和评估不同的光照模式学习算法，以及表面法线重建算法。

背景与挑战

背景概述

在计算机视觉和图形学中，高精度表面法线的估计一直是一个挑战。传统的显示光度立体技术使用常规显示器和相机来重建表面法线。可微分显示光度立体（DDPS）通过学习光照模式，提高了表面法线的重建精度。然而，DDPS在实际应用中存在限制，需要使用固定的大型LCD显示器和偏振相机。为了解决这个问题，Ban等人提出了可微分移动显示光度立体（DMDPS）方法，该方法利用具有显示器和相机的移动电话进行高精度光度立体重建。DMDPS通过开发一个移动应用程序，同时显示模式并捕获高质量的HDR图像，克服了使用移动设备的局限性。此外，DMDPS还应用于现实世界的3D打印对象和落叶数据集，展示了其在复杂表面纹理重建方面的能力。

当前挑战

尽管DMDPS在许多物体类型上表现良好，但光泽物体仍然是一个挑战，其表面法线重建质量较低。光泽表面的强镜面反射和环境干扰会导致捕获图像的非线性和噪声，从而影响重建精度。为了提高DMDPS的适用性，未来的研究可以探索在移动设备上实现漫反射和镜面反射分离的方法，例如使用能够发射偏振光的模型，并配备偏振镜头或偏振膜。此外，还可以考虑使用平板电脑代替移动电话，因为平板电脑具有更大的屏幕，可以作为更大的光源。这些改进将有助于提高DMDPS在复杂环境下的性能和适用性。

常用场景

经典使用场景

在计算机视觉和图形学中，对高质量表面法线的估计一直是一个长期存在的问题。本数据集提供了通过显示光立体视觉重建表面法线的方法，并利用了具有显示和摄像头的移动手机。通过学习显示模式，提高了表面法线重建的准确性。这种方法使得在一般环境中使用移动手机进行表面法线重建成为可能，而不需要暗室和监视器等固定设备。

解决学术问题

本数据集解决了在计算机视觉和图形学中，高质量表面法线估计的问题。通过使用移动手机进行表面法线重建，该方法消除了固定设备限制，提高了灵活性。此外，该方法还解决了在一般环境中进行表面法线重建的问题，通过HDR成像和RAW图像的捕获，提高了重建质量。

衍生相关工作

本数据集衍生了多个相关工作，包括基于深度学习的光立体视觉方法、基于移动设备的表面法线重建方法等。这些相关工作进一步提高了表面法线重建的准确性和实用性，推动了计算机视觉和图形学领域的发展。