GeorgiaTech/HERCULES

HERCULES是一个多机器人光真实感合成SLAM数据集，专为多机器人SLAM和协作感知研究设计。数据集包含2架无人机和2辆Husky UGV在四个大规模环境（澳大利亚内陆中心路线、澳大利亚内陆周边路线、城市街区和茂密森林）中运行的时间同步多模态传感器流。数据是合成的，通过基于Unreal Engine 5的HERCULES仿真框架生成，扩展了AirSim和Cosys-AirSim作为UE5插件，使用Lumen全局照明和Nanite几何实现光真实感渲染。它提供光真实感图像以及几何、语义和轨迹的完美无噪声真值。所有传感器流共享共同的时间基准（同步采集）。数据集适用于SLAM、LiDAR惯性/视觉惯性里程计、多机器人/协作感知、深度估计和语义分割等任务。每个机器人配备相同的同步记录传感器套件，包括RGB相机（752×480，20 Hz）、立体相机（基线0.11米）、深度图（浮点32位，米）、语义分割（320个类别）、LiDAR（16通道，20 Hz）和IMU（最高500 Hz）。数据集总大小约1.1 TB，轨迹长度设计为每序列359-945米，包含机器内和机器间闭环。数据以.tar.zst存档格式提供，需下载后解压使用。HERCULES is a photorealistic synthetic multi-robot SLAM dataset dedicated to multi-robot SLAM and collaborative perception research. The dataset contains time-synchronized multimodal sensor streams from 2 drones and 2 Husky UGVs operating in four large-scale environments: Central Australian Inland Route, Peripheral Australian Inland Route, Urban Block, and Dense Forest. The data is synthetic, generated via the HERCULES simulation framework based on Unreal Engine 5, which extends AirSim and Cosys-AirSim as UE5 plugins, and adopts Lumen global illumination and Nanite geometry to achieve photorealistic rendering. It provides photorealistic images alongside perfect noise-free ground truths for geometry, semantics and trajectories. All sensor streams share a unified time base (synchronized acquisition). This dataset is applicable to tasks including SLAM, LiDAR inertial/visual-inertial odometry, multi-robot/collaborative perception, depth estimation and semantic segmentation. Each robot is equipped with an identical synchronously recorded sensor suite, comprising an RGB camera (752×480, 20 Hz), stereo camera (baseline 0.11 m), depth map (32-bit float, in meters), semantic segmentation (320 categories), 16-channel LiDAR (20 Hz) and IMU (up to 500 Hz). The total size of the dataset is approximately 1.1 TB, with the trajectory length designed to be 359–945 meters per sequence, containing both intra-robot and inter-robot loop closures. The data is provided in .tar.zst archive format and requires decompression after downloading for usage.

搜集汇总

数据集介绍

构建方式

HERCULES数据集基于虚幻引擎5（Unreal Engine 5）构建，借助Lumen全局光照与Nanite几何体技术实现逼真渲染，并扩展了AirSim与Cosys-AirSim插件作为仿真框架。数据集涵盖澳大利亚内陆（中心与外围路线）、城市街区和茂密森林四种大规模环境，由两台无人机与两台Husky无人地面车辆组成的异构机器人团队协同采集。每台机器人均搭载同步的多模态传感器套件，包括前视RGB相机、立体相机、平面深度传感器、语义分割相机、16线激光雷达以及高达500Hz的九轴惯性测量单元。所有传感器流共享统一时间基准，并以仿真秒为文件名编码，确保跨机器人、跨模态的数据对齐。原始数据以.tar.zst归档形式存储，通过Hugging Face Hub分发，用户可选择性下载并按需解压以还原完整目录结构。

特点

HERCULES的核心特点在于其提供无噪声、像素级完美的地面真值，涵盖几何、语义与轨迹信息，无需额外传感器噪声模型干预。数据集规模总计约1.1TB，每条序列轨迹长度介于359至945米之间，内含丰富的机器人类内与类间闭环，为多机器人SLAM与协同感知研究提供了严苛的基准测试场景。立体相机基线为0.11米，激光雷达每秒产生约28,800个点云数据，语义分割覆盖320个类别，实例ID跨机器人保持一致，便于进行跨视角数据关联分析。此外，数据集中鸟类作为唯一的动态物体存在，进一步提升了场景的真实性与挑战性。

使用方法

用户可通过Hugging Face Hub的`hf download`命令下载整个数据集或指定序列，随后运行`extract_all.sh`脚本原位解压所有.tar.zst文件，即可获得与原始库完全一致的文件夹层级。数据集直接适用于多机器人协同SLAM与位姿图优化、激光雷达-惯性及视觉-惯性里程计的性能评估（地面真值已内置）、深度估计与语义实例分割模型的训练与验证，以及异构无人机-无人车跨环境感知或仿真到现实迁移研究。内置的LIO-SAM与OpenVINS基线输出结果可作为比较基准，而零噪声的地面真值允许研究者自主添加传感器噪声以模拟真实退化条件。

背景与挑战

背景概述

HERCULES数据集由佐治亚理工学院LunarLab团队于2026年创建，旨在解决异构多机器人协同SLAM与感知领域的核心研究问题——如何在大规模复杂环境中实现多机器人（2架无人机与2辆地面机器人）的实时同步定位与建图。该数据集基于Unreal Engine 5与AirSim框架生成，提供4个大规模场景（澳洲荒野、城市街区、森林）的1.1 TB多模态传感器数据，包含RGB、立体视觉、激光雷达、IMU及无噪声地面真值。其发布对多机器人协作SLAM、深度估计、语义分割等领域产生了重要影响，为算法基准测试与仿真到现实迁移提供了高保真数据支持。

当前挑战

HERCULES所应对的领域核心挑战在于：传统单机器人SLAM无法满足大规模、多异构平台协作的感知需求，而现有数据集缺乏同步的多机器人多模态数据，难以支撑协作定位与地图融合算法的开发。构建过程中面临的主要挑战包括：设计4组机器人协同轨迹以确保闭环检测与覆盖完整性，实现所有传感器（20 Hz相机与LiDAR、500 Hz IMU）的精确时间同步，以及在UE5中逼真渲染动态物体（鸟类）与多光照环境。此外，1.1 TB数据的高效存储与分发因平台文件数限制而被压缩为.tar.zst归档文件，增加了用户处理的复杂度。

常用场景

经典使用场景

在多机器人协同感知与即时定位与地图构建（SLAM）领域，HERCULES数据集为研究者提供了一个前所未有的高保真度评估平台。该数据集通过虚幻引擎5的Lumen全局光照与Nanite几何体系统，生成了包含四台异构机器人（两台无人机与两台无人车）在四种大规模场景中同步采集的多模态传感器数据，涵盖RGB图像、立体视觉、深度图、语义分割标签、16线激光雷达点云以及高频惯性测量单元数据。其核心价值在于提供了完美无噪声的真实地面真值，使得研究者能够严格量化SLAM系统的状态估计误差、闭环检测能力以及多机器人协同定位的精度，进而推动从经典单机器人SLAM向多机器人协作感知范式的关键跨越。

解决学术问题

HERCULES数据集着力应对多机器人SLAM研究中长期存在的三大瓶颈：真实场景数据的稀缺性、跨机器人时空标定的复杂性以及无偏评价基准的缺失。通过提供四台机器人同步且精确对齐的传感器流，它使得研究者能够系统性地探索分布式信息融合策略对协同定位精度的影响，并量化不同传感器模态（如激光雷达-惯性 vs. 视觉-惯性）在异构团队中的互补优势。此外，数据集所携带的640类语义标签及跨机器人一致的实例标识，为解决多视角数据关联这一传统难题开辟了全新路径，其意义在于为未来大规模搜索救援、行星探测等依赖异构机器人团队作业的场景奠定了学术基础。

衍生相关工作

HERCULES数据集的发布催生了一系列围绕多机器人感知与导航的前沿研究工作。该数据集首次提供了基于虚幻引擎5光追渲染的高保真仿真框架，其后续衍生工作集中在两方面：一方面，研究者基于其噪声完美的地面真值数据，开发了鲁棒性更强的分布式因子图优化算法，用于在通信间歇条件下实现跨机器人回环闭合；另一方面，数据集中跨场景的语义一致性激发了对零样本域自适应语义分割方法的研究，探索将合成数据训练的模型直接应用于真实野外环境的可能性。此外，已有团队利用该数据集的立体视觉与深度图配对，针对弱纹理环境训练深度估计网络，显著提升了水下或低照度条件下的深度预测精度。