LiFMCR

LiFMCR数据集是一个专门用于多镜头光场相机配准的新数据集。它包含了两个高分辨率Raytrix R32光场相机的同步图像序列，以及由Vicon运动捕捉系统记录的高精度6自由度位姿。该数据集克服了现有数据集的局限性，提供了多视图光场数据与外部地面真值，使得配准方法的评估更加严格。数据集包含了7个不同的场景，以及用于相机内参校准的MLA校准数据、参考标记和地面真值位姿。LiFMCR数据集的创建旨在解决多镜头光场相机配准的光学和几何挑战，为提升深度感知、扩大视野和改善机器人应用中对遮挡的鲁棒性提供数据支持。

The LiFMCR dataset is a novel dataset specifically designed for multi-lens light field camera registration. It contains synchronized image sequences captured by two high-resolution Raytrix R32 light field cameras, as well as high-precision 6-degree-of-freedom (6DoF) poses recorded by the Vicon motion capture system. This dataset overcomes the limitations of existing datasets by providing multi-view light field data and external ground truth, enabling more rigorous evaluation of registration methods. The dataset includes 7 distinct scenarios, along with MLA calibration data for camera intrinsic parameter calibration, reference markers, and ground truth poses. The development of the LiFMCR dataset aims to address the optical and geometric challenges in multi-lens light field camera registration, providing data support for enhancing depth perception, expanding field of view, and improving occlusion robustness in robotic applications.

原始信息汇总

LiFMCR 数据集概述

数据集名称

LiFMCR

主要用途

用于基于微透镜阵列光场相机的配准

数据内容

• 提供来自两台 Raytrix R32 光场相机的同步序列
• 包含来自 Vicon 系统的精确 6-DOF 位姿

包含方法

• 基于交叉视图点云的 3D RANSAC 方法
• 基于单光场图像的光场 PnP 算法

搜集汇总

数据集介绍

构建方式

在光场成像技术快速发展的背景下，LiFMCR数据集通过双Raytrix R32光场相机系统构建，采用Vicon运动捕捉系统提供亚毫米级精度的六自由度位姿真值。数据采集过程中，两台高分辨率光场相机通过Vicon Lock Lab输出实现精确同步，采样频率为10Hz，确保图像采集与运动捕捉数据的时序对齐。七组不同室内场景的序列涵盖随机运动、手持环绕等多种运动模式，每台相机同步记录6560×4948像素的原始光场图像，并配套提供微透镜阵列校准文件与参考标记板数据。

特点

作为首个提供同步多视角聚焦式光场相机数据与外部真值的数据集，LiFMCR突破了现有光场数据集单相机配置的局限。其核心特征体现在双相机系统的严格同步性、Vicon系统提供的六自由度位姿真值，以及覆盖复杂室内场景的多样性。数据集包含植物、自行车、办公室等七类场景的完全聚焦图像与原始光场数据，支持光场相机标定、位姿估计、新颖视角合成等多类任务。与斯坦福多视角光场数据集等现有资源相比，该数据集首次实现了多相机光场系统的精确时空对齐与真值验证。

使用方法

该数据集支持两种基准注册方法的评估：基于RANSAC的三维变换估计与光场PnP算法。研究人员可通过数据集提供的原始图像序列与Vicon真值数据，验证多相机光场系统的外参标定精度。使用流程包括加载微透镜阵列校准参数、提取光场特征点云、执行跨视角匹配，最终通过非线性优化计算相机间相对位姿。数据集配套提供的完整标定流程与评估指标，使得用户能够直接对比注册结果与运动捕捉真值，为光场SLAM、三维重建等应用提供可靠基准。

背景与挑战

背景概述

光场成像技术作为计算摄影领域的重要分支，通过微透镜阵列同时捕获光线的空间与角度信息，为三维重建、深度估计等应用提供了丰富数据。LiFMCR数据集由慕尼黑工业大学与卡尔斯鲁厄应用科学大学联合研发，于2025年正式发布，旨在解决多相机光场系统标定的核心难题。该数据集采用两台高分辨率Raytrix R32光场相机，配合Vicon运动捕捉系统提供亚毫米级精度的六自由度位姿真值，突破了传统光场数据集仅支持单相机且缺乏外部真值的局限，为自动驾驶、机器人导航等领域的精准三维感知奠定了数据基础。

当前挑战

在光场多相机标定领域，主要面临两大挑战：其一，传统光场数据集普遍存在多视角数据缺失与真值标注不足的问题，严重制约了标定算法的验证与优化；其二，光场相机特有的光学结构使得标定过程复杂度显著提升，需同时考虑主透镜与微透镜阵列的几何关系，并解决传感器与光学元件间的错位校正。LiFMCR在构建过程中需攻克多相机同步采集、光学中心与标记物坐标系对齐、以及大规模光场数据存储等技术瓶颈，其解决方案为复杂光学系统的标定提供了重要参考。

常用场景

经典使用场景

在计算摄影与机器人视觉领域，LiFMCR数据集通过同步采集双Raytrix R32光场相机序列与Vicon运动捕捉系统提供的亚毫米级6自由度位姿真值，为多相机光场配准研究提供了标准化评估平台。其独特设计支持对光场相机外参标定算法的严格验证，尤其适用于研究微透镜阵列结构下的空间对齐精度，成为光场三维重建与立体视觉任务的核心实验数据源。

实际应用

在自动驾驶导航与工业检测场景中，LiFMCR支持开发鲁棒的多光场相机系统。其提供的精确空间配准能力可增强机器人对复杂环境的深度感知，扩展有效视场范围并提升遮挡场景下的三维重建质量。实际部署中可用于高精度零件检测、动态场景三维建模等需要多视角光场融合的工业视觉任务。

衍生相关工作

基于LiFMCR的基准方法催生了光场PnP等创新算法，推动了plenoptic相机模型在位姿估计领域的应用延伸。其数据格式与评估框架为后续光场视觉研究提供标准化范式，启发了一系列关于光场SLAM、多视角神经辐射场的工作，并促进了光场相机在动态场景重建与实时定位中的算法演进。