Multi-RGB-D Cameras and Inertial Dataset

一个全面的时间同步RGB-D与IMU和LiDAR记录集合，由四个Intel RealSense D455摄像头、一个MicroStrain GX5-25 IMU和一个Ouster-64 LiDAR捕获。涵盖360°非重叠视图和多样化的室内/室外场景，该数据集支持基于置信度的多摄像头里程计、深度融合和尺度一致的VIO/SLAM研究。

A comprehensive collection of time-synchronized RGB-D, IMU, and LiDAR recordings captured using four Intel RealSense D455 cameras, one MicroStrain GX5-25 IMU, and one Ouster-64 LiDAR. Covering 360° non-overlapping views and diverse indoor/outdoor scenarios, this dataset supports research on confidence-based multi-camera odometry, depth fusion, and scale-consistent VIO/SLAM.

原始信息汇总

Multi-RGB-D Cameras and Inertial Dataset (with Hyundai Motor Group) 数据集概述

数据集简介

一个全面的时间同步多传感器数据集，包含四个Intel RealSense D455 RGB-D相机、一个MicroStrain GX5-25 IMU和一个Ouster-64 LiDAR的同步记录。覆盖360°非重叠视场和多样化的室内/室外场景，支持基于置信度的多相机里程计、深度融合和尺度一致的VIO/SLAM研究。

主要特性

• 同步多传感器套件：四个硬件触发的Intel RealSense D455 RGB-D相机和一个IMU
• 360°非重叠覆盖：前、后、左、右视角支持真正的多相机VO/VIO/SLAM研究
• 挑战性场景：包含强眩光、低光照、无纹理墙壁和动态遮挡的室内外环境序列
• 完整校准包：提供内参、外参和相机到IMU的SE3变换
• 研究就绪格式：ROS包文件和地面真值数据

传感器规格

组件	型号	频率	备注
RGB-D相机 (×4)	Intel RealSense D455	640 × 360 @ 30 Hz	前/左/右/后 (非重叠视场)
IMU	MicroStrain 3DM-GX5-25	100 Hz
LiDAR	Ouster-64	10 Hz	通过LiDAR-惯性SLAM提供地面真值

数据序列

ID	长度	挑战场景	数据链接
indoor	100 m / 104 s	走廊，中等纹理	https://drive.google.com/file/d/1MD2zmZHPLW_h_ONGBlc0HLY_2cVlbXYY/view
indoor2	69 m / 159 s	宽敞室内，遮挡 ✓	https://drive.google.com/file/d/11RcQbHpIhMuoP6TgFiVBIgByrNC5rhe0/view
glare	45 m / 155 s	强阳光眩光 ✓	https://drive.google.com/file/d/1ylb_0hbAf5sT-TQ_eUID4nAHQw7wPhRe/view
txl	68 m / 150 s	无纹理墙壁 ✓ 眩光 ✓ 黑暗 ✓	https://drive.google.com/file/d/1FvlKwXq3G0CIpHw0hlqjLOmNkvrGJI1p/view
occ	67 m / 146 s	前相机遮挡 ✓	https://drive.google.com/file/d/1EiEpvv4hF2UT27MViXXgsQWq4u4SN_ps/view
dark	73 m / 169 s	低光照，大旋转 ✓ 无纹理 ✓	https://drive.google.com/file/d/17RmePdUHBrZfHKipVJ0AJ7hp3bsrU79a/view
校准数据	–	内参和外参	https://drive.google.com/file/d/1cK73j_JzyYdibqS_YILAjq_acHM0JYke/view
地面真值	–	LiDAR-IMU SLAM轨迹 (tum格式)	https://drive.google.com/file/d/1bQqDPedCUnpDyaIooqLUek4Sh8zu3D78/view

同步特性

所有图像和深度帧均采用硬件触发，四个RGB-D相机主题间实现亚毫秒级时间戳对齐。

引用信息

bibtex @article{yun2025multicam, title = {The More The Better? Confidence-Driven Residual Weighting and Depth Fusion for Multi-RGB-D Inertial Odometry}, author = {Yun, Seungsang and Shin, Jaeho and Cha, Jaekwang and Kim, Ayoung}, journal = {IEEE Robotics and Automation Letters}, year = {2025}, volume = {TBD}, number = {TBD}, pages = {TBD}, doi = {TBD} }

联系方式

如有问题请联系：Seungsang Yun at [e-mail]

搜集汇总

数据集介绍

构建方式

在机器人感知研究领域，多传感器融合数据集对于推进视觉惯性里程计与同步定位与地图构建技术至关重要。该数据集通过四台硬件触发的英特尔RealSense D455 RGB-D相机、MicroStrain GX5-25惯性测量单元及Ouster-64激光雷达构建，采用硬件级时间同步机制确保多模态数据的时间对齐精度达到亚毫秒级。数据采集覆盖室内外多种挑战性场景，包括强光照、低纹理环境及动态遮挡，并通过激光雷达惯性SLAM技术提供高精度轨迹真值。

特点

该数据集的核心特征体现在其全方位的传感器配置与多样化的场景挑战。四台RGB-D相机以非重叠视场角实现360度全景覆盖，为多视角视觉研究提供完整空间信息。数据集包含六组精心设计的序列，分别针对强眩光、低光照、纹理缺失和动态遮挡等极端条件，有效模拟真实世界的感知挑战。所有传感器均经过完整标定，提供内在参数、外参变换矩阵及相机-IMU间的SE3变换关系，并以ROS数据包和标准轨迹格式交付，确保研究可用性。

使用方法

研究者可通过提供的ROS bag文件直接接入机器人操作系统进行数据回放与算法测试。数据集配套提供激光雷达惯性SLAM生成的精确轨迹真值，支持视觉里程计、深度融合及多相机SLAM算法的定量评估。校准数据包包含相机内参、外参及时间偏移参数，便于用户实现多传感器数据对齐与融合。对于特定研究需求，可分离使用彩色图像、深度信息、IMU数据或激光雷达点云，支持模块化算法开发与验证。

背景与挑战

背景概述

多RGB-D相机与惯性数据集由首尔国立大学与现代汽车集团机器人实验室于2025年联合创建，旨在推动视觉惯性里程计（VIO）与同步定位与地图构建（SLAM）技术的研究。该数据集通过四台Intel RealSense D455相机、MicroStrain GX5-25惯性测量单元（IMU）及Ouster-64激光雷达（LiDAR）的协同工作，提供了360度无重叠视场的多模态同步数据，覆盖室内外多种复杂环境。其核心研究问题聚焦于多相机深度融合、尺度一致性估计及动态环境下的鲁棒性提升，为自动驾驶与机器人导航领域提供了关键数据支撑。

当前挑战

该数据集致力于解决多RGB-D相机惯性里程计中的尺度漂移、动态遮挡及低纹理环境下的位姿估计难题。构建过程中面临多传感器硬件触发同步的精密校准挑战，需确保四台相机与IMU的亚毫秒级时间对齐；同时，数据采集需应对强光眩光、弱光照及纹理缺失等极端场景，保证深度信息的一致性与可靠性。此外，多视角非重叠覆盖的标定与数据融合亦增加了系统复杂性。

常用场景

经典使用场景

在机器人视觉定位与建图领域，该数据集通过四台非重叠视场的RGB-D相机与IMU的时空同步数据，为多视角视觉惯性里程计研究提供了完整实验平台。其360度全覆盖的传感器配置能够有效应对单一相机视野受限问题，特别适用于大范围环境下的姿态估计与三维重建任务，研究者可基于此开展多相机深度融合与置信度加权算法的验证工作。

衍生相关工作

基于该数据集衍生的经典工作包括多相机置信度加权视觉里程计框架与尺度一致性深度融合算法。相关研究通过引入传感器可靠性评估机制，显著提升了多RGB-D相机系统在光照突变与纹理缺失场景下的性能，为后续多模态传感器融合研究设立了新的基准，推动了动态环境下视觉惯性里程计技术的标准化进程。

数据集最近研究

最新研究方向

在机器人感知与自主导航领域，Multi-RGB-D Cameras and Inertial Dataset为多传感器融合研究提供了重要支撑。该数据集通过四台非重叠视场的RGB-D相机、IMU及LiDAR的硬件同步采集，覆盖室内外复杂场景，包括强光照、低纹理及动态遮挡等挑战性环境。当前研究聚焦于置信度驱动的多相机里程计、深度融合及尺度一致的视觉惯性里程计（VIO）与SLAM算法，旨在提升多传感器系统在极端条件下的鲁棒性与精度。相关成果已发表于IEEE Robotics and Automation Letters，并受到产业界如现代汽车集团的广泛关注，推动自动驾驶与移动机器人在真实环境中的感知能力革新。