ECMD

ECMD是一个以事件为中心的多感官驾驶数据集，包含81个序列，覆盖超过200公里的各种具有挑战性的驾驶场景，如高速运动、重复场景、动态对象等。数据集提供了来自两组不同分辨率的立体事件相机（640*480, 346*260）、立体工业相机、红外相机、顶部安装的机械LiDAR和两个倾斜LiDAR、两个消费级GNSS接收器以及车载IMU的数据。同时，使用厘米级高精度GNSS-RTK/INS导航系统获取车辆的真实轨迹。所有传感器均在硬件级别进行良好校准和时间同步，同时记录数据。ECMD is an event-centric multi-sensory driving dataset comprising 81 sequences spanning over 200 kilometers, covering various challenging driving scenarios such as high-speed motion, repeated scenarios, dynamic objects, and more. The dataset provides data from two sets of stereo event cameras with different resolutions (640×480, 346×260), stereo industrial cameras, infrared cameras, a top-mounted mechanical LiDAR, two tilted LiDARs, two consumer-grade GNSS receivers, and an on-board IMU. Meanwhile, the ground-truth trajectory of the vehicle is acquired using a centimeter-level high-precision GNSS-RTK/INS navigation system. All sensors are well-calibrated and time-synchronized at the hardware level, with data recorded simultaneously.

搜集汇总

数据集介绍

构建方式

在自动驾驶同步定位与建图领域，多传感器融合已成为应对复杂环境感知挑战的关键途径。ECMD数据集的构建依托于一套精心配置的多传感器平台，该平台集成了两套不同分辨率（640×480与346×260）的立体事件相机、立体工业相机、红外相机、一个顶部安装的机械激光雷达与两个倾斜激光雷达、两个消费级GNSS接收器以及一个车载IMU。所有传感器均经过严格的硬件级时间同步与标定，确保数据采集的时空一致性。数据采集覆盖了超过200公里的多样化驾驶场景，包括城市密集街道、高速公路、隧道、桥梁及郊区道路等81个序列，并通过厘米级精度的GNSS-RTK/INS系统获取车辆位姿真值，为算法评估提供了可靠基准。

特点

ECMD数据集的核心特点在于其以事件相机为中心的多模态传感器配置与丰富的场景覆盖。该数据集首次针对高密度城市场景，提供了包含事件流、RGB图像、红外图像、激光雷达点云、IMU及GNSS数据的全面多感官信息。事件相机具备微秒级延迟与140dB高动态范围，能够有效应对高速运动、光照剧烈变化等挑战性条件。数据集特别包含了昼夜不同光照、雨天、隧道等GNSS拒止环境，以及高速（最高110公里/小时）、重复结构、动态物体密集等复杂情形，为视觉与激光雷达SLAM算法的鲁棒性评估提供了极具现实意义的测试平台。

使用方法

ECMD数据集适用于视觉SLAM、激光雷达SLAM以及多传感器融合算法的开发与性能评估。研究者可利用其提供的多模态数据流，分别或协同测试基于事件、RGB图像、红外图像或激光雷达的定位与建图方法。数据集中每个序列均配有精确的GNSS-RTK/INS位姿真值，便于通过轨迹对齐计算平均位置误差等指标进行定量分析。此外，数据集已对多种前沿SLAM算法（如VINS-Mono、ORB-SLAM3、LIO-SAM等）进行了基准测试，用户可参照这些结果进行对比与改进。数据集以ROS包格式公开，并提供了标定参数与真值转换工具，支持研究者便捷地开展算法实验与验证。

背景与挑战

背景概述

在自动驾驶与机器人定位领域，同时定位与地图构建技术面临复杂动态环境的严峻挑战。香港大学与香港理工大学的研究团队于近期联合推出了ECMD数据集，旨在通过集成事件相机、红外相机、工业相机、激光雷达及高精度惯性导航系统，构建一个面向城市密集驾驶场景的多模态感知基准。该数据集包含81个序列，覆盖超过200公里的多样化驾驶轨迹，特别关注高速运动、重复结构、动态物体及光照剧烈变化等挑战性条件。其核心研究问题在于探索事件相机等新型传感器在复杂城市环境下的SLAM性能极限，并为多传感器融合算法的发展提供高质量、高同步性的数据支持，对推动鲁棒性自动驾驶感知系统的演进具有重要影响力。

当前挑战

ECMD数据集致力于解决视觉与激光雷达SLAM在复杂城市驾驶环境中的鲁棒性问题，其核心挑战在于应对高速运动、光照剧变、低纹理场景及密集动态干扰下的精准定位与建图。在构建过程中，研究团队面临多重技术挑战：多模态传感器的高精度时间同步与空间标定，尤其是事件相机与激光雷达之间的红外干扰抑制；针对仅输出异步事件流的相机进行有效的内参标定；在隧道、城市峡谷等GNSS信号拒止环境下，确保厘米级高精度真值轨迹的可靠获取；以及处理事件相机在极端光照条件下产生的数据伪影问题，这些挑战共同塑造了该数据集的技术深度与应用价值。

常用场景

经典使用场景

在自动驾驶与机器人定位领域，多传感器融合已成为应对复杂环境挑战的关键策略。ECMD数据集以其事件相机为核心，结合多种视觉与激光雷达传感器，为同步定位与建图（SLAM）算法提供了丰富的测试平台。该数据集最经典的使用场景在于评估和比较各类视觉与激光SLAM算法在高速运动、重复结构、动态物体及光照剧烈变化等极端驾驶条件下的性能。通过提供厘米级精度的地面真值轨迹，研究者能够精确量化算法在密集城市街道、隧道、桥梁等多种场景中的定位误差，从而推动鲁棒性更强的SLAM系统发展。

解决学术问题

ECMD数据集主要解决了自动驾驶研究中多传感器SLAM在极端环境下鲁棒性不足的学术问题。传统视觉或激光SLAM在高速运动、低纹理、强光照变化及动态干扰场景中易出现跟踪丢失或累积误差，而事件相机的高动态范围与低延迟特性为这些挑战提供了新的感知维度。该数据集通过集成双分辨率立体事件相机、红外相机、工业相机及多激光雷达，使得研究者能够探索多模态数据融合方法，提升系统在GNSS拒止环境如隧道或城市峡谷中的连续定位能力。其意义在于为学术界提供了一个标准化的基准，促进了对事件相机在自动驾驶中实用性的深入探究。

衍生相关工作

基于ECMD数据集，研究者已开展多项经典工作，推动了事件相机与多传感器SLAM领域的发展。例如，数据集本身对VINS-Mono、ORB-SLAM3、ESVIO等视觉SLAM算法以及LIO-SAM、Fast-LIO2等激光SLAM算法进行了系统评估，揭示了它们在极端场景下的局限性。这些评估结果激发了后续研究，如开发新型事件-视觉-惯性融合算法以提升高速运动下的稳定性，或利用倾斜安装的激光雷达点云改善城市高层建筑环境中的建图精度。此外，ECMD的校准与同步方法也为多传感器数据集构建提供了技术参考，促进了类似数据集的标准化进程。