UE4-Stereo

UE4-Stereo是一个在Unreal Engine 4.27中使用Microsoft AirSim仿真框架生成的合成立体视觉数据集。该数据集提供了同步的立体RGB图像、密集的真实深度图和完整的6自由度相机姿态，旨在支持立体匹配、视觉里程计和视觉SLAM的研究和基准测试，特别是在受控的室内环境中。数据集专注于具有墙壁、管道、柱子等结构元素的真实室内场景，同时允许精确控制相机配置和运动。

原始信息汇总

UE4-Stereo 数据集概述

数据集描述

UE4-Stereo 是一个在 Unreal Engine 4.27 中使用 Microsoft AirSim 仿真框架生成的合成立体视觉数据集。该数据集提供同步的立体 RGB 图像、密集的真实深度图和完整的 6 自由度相机位姿。它旨在支持立体匹配、视觉里程计和视觉 SLAM 的研究与基准测试，特别是在受控的室内环境中。

数据集侧重于具有墙壁、管道、柱子和家具等结构元素的逼真室内场景，同时允许对相机配置和运动进行精确控制。

数据集概览

• 场景数量： 2 个室内场景
• 序列数量： 16 个采集序列（每个场景 8 个）
• 立体图像对总数： 9,810 对
• 轨迹类型： 闭环轨迹
• 采样频率： 3 Hz
• 无人机速度： 1.5 m/s

每个序列对应一个完整的循环，无人机起飞，遵循预定义的轨迹，并在同一初始位置着陆。

采集设置

• 仿真引擎： Unreal Engine 4.27
• 仿真框架： Microsoft AirSim
• 平台： 虚拟无人机
• 相机： 立体 RGB 相机
• 图像分辨率： 640 × 480 像素
• 相机内参： 在所有序列中固定
• 立体基线： 24 cm 和 32 cm（取决于序列）
• 相机配置： 平行和会聚（±5°）设置

无人机运动和数据采集通过使用 AirSim API 的 Python 脚本控制。所有数据流均与左相机时间同步并以其为参考。

场景与序列

场景 1

场景 1 代表一个室内工业风格环境。它包含八个序列，具有以下受控变化：

• 循环方向（顺时针和逆时针）
• 无人机横向位移（约 1 米）
• 立体基线（24 厘米和 32 厘米）
• 相机会聚（平行和 ±5° 会聚）

在此场景的所有序列中，相机方向保持固定。

场景 2

场景 2 代表第二个具有类似结构复杂性的室内环境。它也包含八个序列，具有以下变化：

• 循环方向（顺时针和逆时针）
• 无人机横向位移（约 1 米）
• 立体基线（24 厘米和 32 厘米）
• 相机会聚（平行和 ±5° 会聚）

数据组织

数据集组织如下：

scene_01/ readme_scene1.txt sequence01/ left_rgb/ right_rgb/ depth_npy/ depth_visual/ associate_rgb.txt associate_rgbd.txt groundtruth.txt sequence02/ ... ... sequence08/

scene_02/ readme_scene2.txt sequence01/ left_rgb/ right_rgb/ depth_npy/ depth_visual/ associate_rgb.txt associate_rgbd.txt groundtruth.txt ... sequence08/ README.txt

数据格式

RGB 图像

• 格式： PNG
• 分辨率： 640 × 480
• 通道： RGB（8 位）
• 存储： 左右相机图像分开存储

深度图

• 度量深度： NumPy 数组（.npy）
  • 数据类型：float32
  • 单位：米
  • 分辨率：640 × 480
  • 像素级对齐：与左 RGB 图像对齐
• 深度可视化： PNG 图像
  • 8 位灰度
  • 仅用于可视化归一化
  • 不适用于定量评估

相机位姿

• 格式： 文本（groundtruth.txt）
• 位姿表示： timestamp tx ty tz qx qy qz qw
• 位置： (tx, ty, tz)，单位为米
• 方向： 四元数 (qx, qy, qz, qw)
• 坐标系： Unreal Engine 世界坐标系

位姿格式遵循 TUM RGB-D 数据集使用的标准约定。

关联文件

每个序列提供：

• associate_rgb.txt： 左右 RGB 图像之间的同步
• associate_rgbd.txt： 左 RGB 图像与深度图之间的同步

这些文件保证了所有数据模态之间的一一对应关系。

预期用途

该数据集预期用于：

• 立体视差估计
• 视觉里程计
• 视觉 SLAM
• 领域适应和合成到真实的迁移
• 相机几何变化鲁棒性评估

注意： 这不是一个分类数据集。文件夹名称和文件组织不应被解释为类别标签。

许可证

本数据集根据 知识共享署名 4.0 (CC BY 4.0) 许可证发布。

引用

如果您使用此数据集，请引用相应的 Data in Brief 文章（正在审阅中）。引用信息将在文章被接受后更新。

搜集汇总

数据集介绍

构建方式

在计算机视觉领域，合成数据集为算法评估提供了可控且精确的基准。UE4-Stereo数据集通过虚幻引擎4.27与微软AirSim仿真框架构建，模拟了室内工业环境中的无人机飞行。数据采集过程由Python脚本控制，生成了包含两个场景、共16条闭合轨迹序列的立体视觉数据。每条序列均记录了同步的左右RGB图像、密集的真实深度图以及完整的六自由度相机位姿，所有数据流均以左相机为参考进行时间同步，确保了多模态数据间严格的对齐关系。

特点

该数据集的核心特征在于其高度的可控性与丰富的几何变化。它提供了两种不同的立体基线长度以及平行与收敛两种相机配置，同时通过改变无人机环行方向与侧向位移，模拟了真实场景中可能遇到的运动模式。数据以TUM RGB-D标准格式组织，包含精确的深度真值与相机位姿，且每个序列均配有确保RGB图像与深度图严格同步的关联文件。这种设计使得数据集特别适用于评估立体匹配、视觉里程计与SLAM算法在已知几何变化下的鲁棒性。

使用方法

研究人员可通过下载并解压数据集文件，按照其层级目录结构访问特定场景与序列的数据。每个序列文件夹内独立存放着左右RGB图像、深度图文件以及记录相机位姿的文本文件。利用提供的关联文件，用户可以便捷地建立图像与深度、图像与位姿之间的对应关系，从而直接用于算法训练或评估。该数据集遵循CC BY 4.0许可协议，允许在注明出处的前提下自由用于学术研究，尤其适合作为立体视觉与SLAM相关任务的基准测试资源。

背景与挑战

背景概述

在计算机视觉领域，立体视觉与同步定位与地图构建（SLAM）技术的研究，长期依赖于高质量且标注精确的数据集。UE4-Stereo数据集应运而生，它由研究人员利用虚幻引擎4.27与微软AirSim仿真框架精心构建，专注于室内环境下的立体匹配、视觉里程计及视觉SLAM任务。该数据集通过合成方法生成，提供了同步的立体RGB图像、密集的真实深度图以及完整的六自由度相机位姿，旨在为相关算法提供可控且多样化的基准测试平台。其核心研究问题在于解决真实世界数据采集成本高昂、标注困难以及环境变量难以精确控制的局限性，从而推动立体视觉与SLAM技术在仿真到真实迁移领域的进展。

当前挑战

UE4-Stereo数据集所针对的立体匹配与视觉SLAM领域，面临的主要挑战包括在复杂室内结构下保持高精度深度估计、处理相机几何配置（如基线长度与收敛角度）变化带来的匹配歧义，以及实现长期稳定的轨迹闭环。在数据集构建过程中，挑战体现在如何通过仿真环境模拟真实世界的物理特性与视觉外观，确保深度数据的度量准确性；同时，设计多样化的采集序列以覆盖不同的运动轨迹、相机参数与场景布局，从而增强数据集的泛化能力与评估价值。

常用场景

经典使用场景

在计算机视觉领域，立体视觉技术旨在从双目图像中恢复场景的三维结构。UE4-Stereo数据集通过虚幻引擎4.27与AirSim框架生成的合成立体图像对，为立体匹配算法的研发与评估提供了理想平台。该数据集包含同步的左右RGB图像、密集的真实深度图及完整的六自由度相机位姿，特别适用于室内受控环境下的算法测试，其闭环轨迹设计确保了运动估计的连贯性与一致性。

解决学术问题

立体视觉研究常面临真实数据标注成本高昂、环境变量难以控制等挑战。UE4-Stereo数据集以合成数据形式，提供了精确的深度真值与相机位姿，有效解决了立体匹配、视觉里程计和视觉SLAM算法在训练与验证阶段对高质量标注数据的依赖问题。其可控的相机配置与运动参数，使得研究者能够系统探究基线距离、收敛角度等因素对算法性能的影响，推动了领域内鲁棒性模型的构建。

衍生相关工作

基于UE4-Stereo数据集，研究者已开展了一系列经典工作，主要集中在立体匹配网络的鲁棒性改进与视觉SLAM系统的性能评测。例如，利用其多变的相机几何配置，衍生出对收敛立体系统深度估计误差的分析研究；同时，该数据集也被用于验证新型视觉里程计算法在闭环轨迹下的累积误差表现。这些工作不仅深化了对算法泛化能力的理解，也促进了仿真数据在视觉任务中的标准化应用。