GrandTour

GrandTour是由苏黎世联邦理工学院等机构联合开发的多模态腿式机器人数据集，旨在解决复杂环境中自主机器人的状态估计与感知问题。该数据集包含49条任务序列，总长度超过10公里，数据量超过5小时，采集自ANYmal-D四足机器人搭载的Boxi多模态传感器套件，涵盖LiDAR、多视角RGB相机、深度相机、IMU及高精度RTK-GNSS地面真值。数据覆盖高山、森林、城市废墟等多样化场景，包含不同光照与天气条件。其核心价值在于为SLAM、多模态学习及传感器融合研究提供真实世界基准，支持腿式机器人导航算法的开发与验证。GrandTour is a multimodal legged robotics dataset co-developed by ETH Zurich and other institutions, aiming to address the state estimation and perception challenges of autonomous robots in complex environments. This dataset contains 49 task sequences, with a total traversed distance of over 10 kilometers and a total data duration of more than 5 hours. It is collected from the Boxi multimodal sensor suite mounted on the ANYmal-D quadruped robot, covering LiDAR, multi-view RGB cameras, depth cameras, IMU, and high-precision RTK-GNSS ground truth. The data covers diverse scenarios including alpine areas, forests, and urban ruins, and includes various lighting and weather conditions. Its core value is to provide real-world benchmarks for SLAM, multimodal learning and sensor fusion research, supporting the development and validation of legged robot navigation algorithms.

搜集汇总

数据集介绍

构建方式

GrandTour数据集的构建依托于ANYbotics ANYmal-D四足机器人平台，该平台搭载了名为Boxi的多模态传感器载荷。数据采集过程覆盖了高山、森林、城市废墟及室内外复杂环境等49个任务序列，总行走距离超过10公里，数据时长逾5小时。为确保数据质量，研究团队采用了高精度的时间同步机制，包括IEEE 1588v2 PTP协议和硬件触发，实现了多传感器数据在亚毫秒级别的对齐。空间标定方面，通过相机束标定、LiDAR-相机外参标定以及基于全站仪的棱镜标定，建立了统一的传感器坐标系，为后续的多模态融合提供了坚实的几何基础。

特点

GrandTour数据集的核心特点在于其前所未有的规模与多样性。作为目前最大的开源足式机器人数据集，它涵盖了从日间到夜间、从晴朗到雨雪等多种光照与天气条件，环境类型包括自然地形、工业场景和城市区域。数据集提供了高度同步的多模态数据流，包括三个旋转LiDAR、十台RGB相机、七个深度相机、八个IMU以及完整的本体感知传感器。尤为突出的是，数据集配备了毫米级精度的地面真值轨迹，这些轨迹通过卫星RTK-GNSS和Leica全站仪融合生成，为SLAM、状态估计和多模态学习研究提供了可靠的评估基准。

使用方法

GrandTour数据集以两种主要格式发布，以适应不同研究需求。为方便计算机视觉和机器学习社区使用，数据集在HuggingFace平台提供了Zarr和JPEG格式，用户可通过Python API便捷地下载与处理特定传感器数据流。同时，为保持与机器人操作系统生态的兼容性，数据集也提供了ROS Bag格式，并支持转换为ROS2兼容的MCAP文件。研究人员可利用该数据集进行LiDAR-惯性里程计、视觉-惯性里程计以及多模态融合算法的开发与评估。此外，数据集附带的工具链和示例资源，如运动补偿点云、地形地图和预计算轨迹，能够显著降低研究门槛，推动足式机器人在复杂环境中的感知与状态估计技术进步。

背景与挑战

背景概述

在足式机器人领域，精确的状态估计与多模态感知是实现复杂、大规模环境中自主导航的关键前提。然而，长期以来，该领域缺乏能够全面反映真实世界条件、用于算法开发与评估的大规模公开数据集。为填补这一空白，苏黎世联邦理工学院等机构的研究团队于2025年推出了GrandTour数据集。该数据集旨在解决足式机器人在状态估计、感知与导航方面的核心研究问题，通过搭载先进多模态传感器套件的ANYmal-D四足机器人，在从高山森林到城市废墟的多样化挑战性环境中采集数据。作为迄今规模最大的开源足式机器人数据集，GrandTour为同步定位与建图、高精度状态估计以及多模态学习等研究方向提供了至关重要的基准资源，显著推动了相关算法的严谨评估与发展。

当前挑战

GrandTour数据集致力于应对足式机器人领域的两大核心挑战。首先，在领域问题层面，数据集旨在解决足式机器人在非结构化、动态环境中实现鲁棒状态估计与多模态感知的难题。具体挑战包括：由腿部运动间歇性触地、足部滑移及快速姿态变化引入的传感器测量干扰；在光照恶劣、遮挡严重、纹理缺失或空间狭窄的极端野外条件下，感知性能的急剧退化；以及如何有效融合具有不同噪声特性、延迟和视场的互补性外感与本体感知传感器数据。其次，在构建过程中，研究团队面临诸多工程挑战：需在超过10公里行程、49个任务序列中确保多种异构传感器（如多个激光雷达、相机、IMU）的高精度时间同步与空间标定；在多样且苛刻的室外与室内环境中获取并融合毫米级精度的地面真值轨迹（结合卫星RTK-GNSS与全站仪测量）；同时，还需设计高效的数据格式与工具链，以支持广泛的研究社区便捷访问与利用这一大规模多模态数据。

常用场景

经典使用场景

在足式机器人领域，精确的状态估计与多模态感知是实现复杂环境中自主导航的关键前提。GrandTour数据集通过搭载Boxi多模态传感器载荷的ANYmal-D四足机器人，在阿尔卑斯山区、森林、拆除建筑及城市区域等多种挑战性户外与室内环境中采集数据，提供了时间同步的旋转激光雷达、多台RGB相机、本体感知传感器及立体深度相机等多源传感器数据。该数据集最经典的使用场景在于为足式机器人的同步定位与建图、高精度状态估计以及多模态学习算法提供基准测试平台，使研究者能够在真实世界条件下系统评估传感器融合方法的性能与鲁棒性。

解决学术问题

GrandTour数据集主要解决了足式机器人研究中缺乏大规模、多模态真实世界数据集的瓶颈问题。以往的研究往往依赖于小规模、非代表性的实验数据或仿真环境，难以推广到复杂多变的实际场景。该数据集通过提供涵盖多种地形、光照及天气条件的高精度同步数据，支持了SLAM算法在动态足式运动干扰下的性能评估，促进了多模态感知与状态估计方法的创新。其毫米级精度的地面真值轨迹为算法验证提供了可靠依据，显著推动了足式机器人自主导航技术的理论进展与工程实践。

衍生相关工作

自发布以来，GrandTour数据集已衍生出多项经典研究工作，涵盖了状态估计、感知学习及仿真迁移等多个方向。在传感器融合方面，Holistic Fusion框架利用其高精度地面真值实现了多源数据的一致融合；在连续时间状态估计领域，RESPLE等方法基于该数据集优化了运动补偿与轨迹表征。学习型方法中，GaussGym实现了基于神经辐射场的真实到仿真迁移，为视觉导航策略的训练提供了逼真环境；此外，该数据集还支持了物理参数估计、自监督表示学习以及视觉语言模型基准测试等一系列前沿探索，持续推动着足式机器人技术的多元化发展。