R12-ABC, R12-D

我们介绍了三个新的数据集，分别对应不同的焦点距离配置：R12-A（h = 450 mm），R12-B（h = 1000 mm），以及R12-C（h = inf）。每个数据集包含多种图像和校准目标，用于校准和深度估计。此外，还有一个名为R12-D的数据集，捕获于焦点距离配置h = 1500 mm，同样包含多种图像和校准目标。

We introduce three new datasets, each corresponding to different focal distance configurations: R12-A (h = 450 mm), R12-B (h = 1000 mm), and R12-C (h = inf). Each dataset contains a variety of images and calibration targets for calibration and depth estimation. Additionally, there is a dataset named R12-D, captured at a focal distance configuration of h = 1500 mm, which also includes a variety of images and calibration targets.

原始信息汇总

数据集概述

数据集 R12-ABC

• 下载链接: R12-ABC
• 实验设置:
  • 使用 Raytrix R12 彩色3D光场相机，配备 F/2.4 光圈的 MLA。
  • 相机为伽利略内部配置，搭载 Nikon AF Nikkor F/1.8D 镜头，焦距50 mm。
  • MLA 组织为六边形行对齐，包含176 x 152微镜，共3种类型。
  • 传感器为 Basler beA4000-62KC，像素尺寸0.0055 mm，原始图像分辨率4080 x 3068。
• 数据集:
  • R12-A: 焦距配置 h = 450 mm
  • R12-B: 焦距配置 h = 1000 mm
  • R12-C: 焦距配置 h = inf
  • 每个数据集包含：白色原始光场图像、自由手校准目标、去晕影图像及校准目标与深度图。

数据集 R12-D

• 下载链接: R12-D
• 实验设置:
  • 使用 Raytrix R12 彩色3D光场相机，配备 F/2.4 光圈的 MLA。
  • 相机为伽利略内部配置，搭载 Nikon AF DC-Nikkor F/2D 镜头，焦距135 mm。
  • MLA 组织为六边形行对齐，包含176 x 152微镜，共3种类型。
  • 传感器为 Basler beA4000-62KC，像素尺寸0.0055 mm，原始图像分辨率4080 x 3068。
• 数据集:
  • 焦距配置 h = 1500 mm
  • 包含：白色原始光场图像、自由手校准目标、去晕影图像及校准目标与深度图。

数据集 UPC-S

• 下载链接: UPC-S
• 实验设置:
  • 使用 Lytro Illum 内在参数，主镜头光圈 F/2，焦距9.9845 mm。
  • 相机为未聚焦内部配置，MLA 组织为六边形行对齐，包含541 x 434微镜，共1种类型。
  • 原始图像分辨率7728 x 5368像素，像素尺寸0.0014 mm。
• 数据集:
  • 焦距配置 h = hyperfocal
  • 包含：模拟白色原始光场图像、自由手校准目标及校准目标与深度图。

数据集 R12-E, ES, ELP20

• 下载链接: R12-E
• 实验设置:
  • 使用 Raytrix R12 彩色3D光场相机，配备 F/2.4 光圈的 MLA。
  • 相机为伽利略内部配置，搭载 Nikon AF Nikkor F/1.8D 镜头，焦距50 mm。
  • MLA 组织为六边形行对齐，包含176 x 152微镜，共3种类型。
  • 传感器为 Basler beA4000-62KC，像素尺寸0.0055 mm，原始图像分辨率4080 x 3068。
• 数据集:
  • 焦距配置 h = 2133 mm
  • 包含：白色原始光场图像、自由手校准目标、去晕影图像及校准目标与深度图。
  • 子数据集 R12-ES 和 R12-ELP20 包含不同场景的3D点云数据。

搜集汇总

数据集介绍

构建方式

R12-ABC和R12-D数据集通过使用Raytrix R12彩色3D光场相机进行构建，该相机配备了F/2.4光圈的微透镜阵列（MLA），并采用伽利略内部配置。相机搭载的镜头分别为Nikon AF Nikkor F/1.8D（50 mm焦距）和Nikon AF DC-Nikkor F/2D（135 mm焦距）。MLA的排列为六边形行对齐，包含176 x 152个微透镜，分为三种不同类型。传感器为Basler beA4000-62KC，像素尺寸为0.0055 mm，原始图像分辨率为4080 x 3068。数据集通过在不同焦距配置下拍摄白光场图像、自由手校准目标、去渐晕图像以及带有控制平移运动的校准目标来构建，同时结合Raytrix软件计算的深度图进行量化评估。

特点

R12-ABC和R12-D数据集的主要特点在于其多样化的焦距配置和精确的校准过程。R12-ABC数据集包括三种不同的焦距配置（450 mm、1000 mm和无限远），而R12-D数据集则专注于1500 mm的焦距配置。每个数据集均包含不同光圈下的白光场图像、校准目标图像以及用于去渐晕的图像，确保了数据集的全面性和实用性。此外，数据集还提供了通过Raytrix软件生成的深度图，为深度估计和3D重建提供了可靠的基准。

使用方法

R12-ABC和R12-D数据集适用于多种光场相机校准和深度估计的应用。用户可以通过下载链接获取数据集，并使用COMPOTE工具进行多焦点光场相机的预校准和校准。此外，PRISM工具可用于生成和模拟光场相机的原始图像，而BLADE工具则专注于从光场相机的原始图像中估计深度图。这些工具均基于libpleno开源C++计算机视觉库，为光场相机的建模和处理提供了强大的支持。

背景与挑战

背景概述

R12-ABC和R12-D数据集是由Mathieu Labussière等人创建的，专注于多焦点光场相机的校准与深度估计。这些数据集通过使用Raytrix R12彩色3D光场相机，结合不同的焦距配置，提供了丰富的光场图像数据。R12-ABC数据集包含三种不同的焦距配置（450mm、1000mm和无限远），而R12-D数据集则专注于1500mm的焦距配置。这些数据集的创建旨在解决光场相机在不同焦距下的校准问题，并为深度估计提供基准数据。通过这些数据集，研究人员可以更好地理解和优化光场相机的性能，推动光场成像技术在计算机视觉领域的应用。

当前挑战

R12-ABC和R12-D数据集在构建过程中面临多项挑战。首先，光场相机的复杂性要求精确的校准过程，尤其是在不同焦距配置下，校准的准确性直接影响深度估计的精度。其次，数据集的多样性要求在不同光照条件和光圈设置下采集数据，这增加了数据采集和处理的复杂性。此外，光场图像的高分辨率（4080x3068像素）和微透镜阵列的复杂结构（176x152微透镜）使得数据处理和存储成为一大挑战。最后，如何确保数据集在不同应用场景下的通用性和可扩展性，也是研究人员需要解决的问题。

常用场景

经典使用场景

R12-ABC和R12-D数据集在光场相机校准和深度估计领域具有经典应用场景。这些数据集通过提供不同焦距配置下的光场图像，支持研究人员进行相机内参数校准、光场图像去噪以及深度图计算等任务。特别是，R12-ABC数据集提供了三种不同焦距配置（450mm、1000mm和无限远）的光场图像，适用于多焦距光场相机的校准和深度估计研究。R12-D数据集则专注于1500mm焦距配置，为特定距离下的深度估计提供了丰富的实验数据。

解决学术问题

这些数据集解决了光场相机校准和深度估计中的多个学术问题。首先，它们为多焦距光场相机的校准提供了标准化的实验数据，解决了传统校准方法在不同焦距下精度不足的问题。其次，通过提供不同光圈下的光场图像，这些数据集支持研究人员开发基于模糊信息的深度估计算法，解决了传统深度估计方法在复杂场景中精度不足的问题。此外，这些数据集还为光场图像的去噪和重建提供了基准，推动了光场成像技术的发展。

衍生相关工作

基于R12-ABC和R12-D数据集，研究人员开发了多项经典工作。例如，COMPOTE工具集利用这些数据集进行多焦距光场相机的校准，显著提高了校准精度。PRISM工具集则通过模拟光场图像，扩展了数据集的应用范围，支持研究人员开发新的深度估计算法。BLADE工具集则基于这些数据集开发了模糊感知深度估计算法，显著提高了深度估计的精度。这些工作不仅推动了光场成像技术的发展，还为相关领域的研究提供了重要的实验基础。