IBISCape

IBISCape是一个专为多模态SLAM系统评估设计的模拟基准数据集，由巴黎-萨克雷大学和埃夫里大学的IBISC实验室创建。该数据集包含34个多模态数据集，适用于自主车辆导航，涵盖了从清晰到动态的不同天气和场景条件。数据集通过CARLA模拟器生成，利用Unreal Engine渲染高动态场景，提供包括立体RGB/DVS、深度、IMU和GPS在内的多种传感器数据，以及场景分割和车辆自我运动的真实数据。IBISCape不仅支持SLAM系统的性能评估，还解决了CARLA模拟中DVS和RGB摄像头的未知畸变参数问题，推动了动态和大规模环境下新多模态VISLAM技术的发展。IBISCape is a simulated benchmark dataset specifically designed for evaluating multimodal SLAM systems, developed by the IBISC Laboratory from Paris-Saclay University and Évry University. This dataset includes 34 multimodal subsets tailored for autonomous vehicle navigation, covering diverse weather and scene conditions ranging from clear to dynamic environments. Generated via the CARLA simulator and rendered using Unreal Engine for high-dynamic scenarios, the dataset provides various sensor data including stereo RGB/DVS, depth, IMU, GPS, as well as ground-truth data for scene segmentation and vehicle egomotion. Beyond supporting performance evaluation of SLAM systems, IBISCape resolves the problem of unknown distortion parameters for DVS and RGB cameras in CARLA simulations, and promotes the advancement of novel multimodal VISLAM technologies in dynamic and large-scale environments.

搜集汇总

数据集介绍

构建方式

IBISCape数据集基于CARLA仿真器构建，该仿真器以Unreal Engine为后端，能够渲染高度动态且逼真的虚拟场景。数据集构建过程中，研究团队开发了数据同步与采集API，用于从异构传感器（包括立体RGB/DVS相机、深度相机、IMU和GPS）获取遥测数据。此外，通过引入动态天气模拟类，生成了34个多模态序列，涵盖从晴朗到极端天气（如浓雾、暴雨和强风）的多样化环境。为了校准CARLA模拟相机中未知的畸变参数，首次在CARLA地图中集成了高质量的标定靶标（如棋盘格和AprilGrid），并通过人工路面凸起激发车辆的俯仰和侧倾运动，以确保IMU与相机联合标定的可靠性。

特点

IBISCape数据集的核心特点在于其多模态与高动态环境的深度融合。数据集提供了立体RGB/DVS、深度、IMU和GPS等多种传感器数据，并同步输出地面真值场景分割和车辆自运动轨迹，为SLAM系统评估提供了全面的基准。其动态环境模拟不仅包括移动车辆和行人，还通过动态天气类实现了对云、雨、风、雾等气象条件的实时控制，使序列具有高强度的环境变化（如平均雾浓度达70%、降雨强度45%）。此外，数据集首次在仿真环境中引入校准靶标，解决了CARLA相机畸变参数未知的问题，并通过精心设计的标定序列（如路面凸起激励）提升了多传感器标定的精度。

使用方法

IBISCape数据集的使用高度灵活，用户可通过开源的采集API自定义传感器配置（如单目/立体、数据速率和传感器布局），并支持多种数据格式（如rosbag和.h5文件）以兼容Kalibr、E2CALIB等标定框架。SLAM评估方面，数据集提供了25个序列用于测试ORB-SLAM3和BASALT等算法，用户可直接利用配置好的.json和.yaml文件进行轨迹精度分析。对于事件相机数据，数据集提供了原始事件数组和热像素滤波后的数据，支持E2VID等模型进行帧重建。所有序列均附带详细的时间戳和控制指令，便于研究者复现实验或开发新的多模态SLAM算法。

背景与挑战

背景概述

IBISCape数据集由法国巴黎萨克雷大学IBISC实验室的Abanob Soliman、Fabien Bonardi、Désiré Sidibé和Samia Bouchafa于2022年创建，旨在为大规模动态环境下的多模态同步定位与地图构建（SLAM）系统提供一个高保真仿真基准。该数据集基于CARLA仿真器与Unreal Engine后端，模拟了真实世界中复杂多变的场景，包含34个多模态序列，覆盖立体RGB、DVS事件相机、深度相机、IMU和GPS等多种传感器数据，并提供了真实场景分割和车辆自运动真值。通过集成动态天气模拟类，数据集可生成雨、雾、风等恶劣条件下的高质量帧，显著推动了多模态视觉惯性SLAM算法在自动驾驶领域的评估与发展，为相关研究提供了不可或缺的标准化测试平台。

当前挑战

IBISCape数据集所面临的核心挑战在于解决大规模动态环境下SLAM系统的鲁棒性与精度问题。首先，动态天气条件（如高浓度雾、强降雨和大风）会导致视觉传感器帧质量急剧下降，引发ORB-SLAM3与BASALT等先进算法出现地图丢失和轨迹漂移，尤其在DVS事件相机中，雨滴和雾气会触发大量随机噪声事件，需设计热像素滤除策略以恢复有效数据。其次，构建过程中需克服CARLA模拟器内相机未知畸变参数的标定难题，通过首次引入棋盘格和AprilGrid标定靶，并设计人工凸起路面以充分激励IMU的俯仰与滚转角，才实现了多传感器的高精度内外参联合标定。此外，平面运动场景下IMU初始化失败，以及事件相机在快速动态变化中帧重建性能不稳定，均构成该基准评估中的关键挑战。

常用场景

经典使用场景

IBISCape作为面向大规模动态环境的多模态SLAM系统评估基准，其经典使用场景聚焦于自动驾驶车辆在复杂气象与交通条件下的同步定位与地图构建。该数据集通过CARLA模拟器生成包含立体RGB/DVS相机、深度传感器、IMU及GPS的异构传感数据，并提供了高精度的场景分割与车辆自运动真值。研究者可借助其34组多模态序列，在动态天气（如浓雾、暴雨、强风）与突发事故等边缘场景下，系统性地验证视觉-惯性SLAM算法的鲁棒性与轨迹估计精度。

实际应用

在实际应用中，IBISCape为自动驾驶汽车的感知系统研发提供了低成本、高保真的虚拟测试平台。工程师可利用其可配置的数据采集API与动态天气模拟类，在安全可控的仿真环境中迭代优化多传感器融合方案，尤其适用于夜间、雨雾等复杂工况下的定位鲁棒性验证。此外，该基准支持从立体DVS事件流到RGB帧的跨模态转换，为事件相机在高速运动场景中的实际部署提供了算法验证依据。

衍生相关工作

IBISCape衍生了一系列推动多模态感知前沿的经典工作，包括基于Kalibr框架的立体相机畸变参数校准方案，以及结合E2CALIB的事件相机标定方法。其提供的动态天气序列激发了针对雨雾噪声的DVS热像素滤波算法研究，同时催生了利用累计事件帧重建高保真图像的E2VID预训练模型优化工作。这些衍生研究共同构建了从传感器标定、数据同步到SLAM系统评估的完整技术链条，为自主导航领域的发展奠定了重要基础。