TartanGround

TartanGround是一个大规模的多模态数据集，旨在推进地面机器人在各种环境中的感知和自主性。该数据集收集于各种逼真的模拟环境，包括多台RGB立体相机、深度、光流、立体视差、激光雷达点云、真实姿态、语义分割图像和具有语义标签的占用图。数据采用自动集成流程收集，生成模拟各种地面机器人平台运动模式的轨迹，包括轮式和腿式机器人。我们在70个环境中收集了910个轨迹，产生了150万个样本。在占用预测和SLAM任务上的评估表明，在现有数据集上训练的最先进方法难以推广到多样化的场景中。TartanGround可以作为各种基于学习的任务的训练和评估平台，包括占用预测、SLAM、神经场景表示、基于感知的导航等，以实现机器感知和自主性的进步，使其更广泛地应用于各种场景。

TartanGround is a large-scale multimodal dataset designed to advance the perception and autonomy of ground robots across diverse environments. This dataset is collected across various realistic simulated environments, containing data from multiple RGB stereo cameras, depth maps, optical flow, stereo disparity, LiDAR point clouds, ground-truth poses, semantic segmentation images, and occupancy maps with semantic labels. The data is collected via an automated integration pipeline, generating trajectories that simulate the movement patterns of various ground robot platforms, including wheeled and legged robots. We collected 910 trajectories across 70 environments, yielding a total of 1.5 million samples. Evaluations on occupancy prediction and SLAM tasks demonstrate that state-of-the-art methods trained on existing datasets struggle to generalize to diverse scenarios. TartanGround can serve as a training and evaluation platform for a variety of learning-based tasks, including occupancy prediction, SLAM, neural scene representations, perception-based navigation, and more, to advance machine perception and autonomy and enable their broader deployment across diverse scenarios.

搜集汇总

数据集介绍

构建方式

TartanGround数据集的构建采用了高度自动化的多模态数据采集流程，基于虚幻引擎(Unreal Engine)和AirSim仿真平台创建了70个具有照片级真实感的环境场景。通过几何可通行性分析算法生成符合轮式/腿式机器人运动特性的轨迹，部署6组立体RGB相机实现360度覆盖，同步采集深度、语义分割、LiDAR点云等12种传感器数据。创新性地采用Gazebo仿真生成ANYmal四足机器人运动轨迹，并通过自定义相机重采样技术适配不同机器人平台的传感器配置，最终形成包含910条轨迹、150万样本的15TB大规模数据集。

特点

该数据集的核心特点体现在环境多样性与数据完备性的完美结合：覆盖城市、森林、工业区等6大类场景，包含动态光照与季节变化；提供包括360度立体视觉、稠密LiDAR、精确位姿真值、语义占据栅格等18种对齐的数据模态；特别模拟了差速驱动、全向轮式和四足机器人三种典型运动模式，其轨迹长度(600-8000帧)和运动复杂性远超同类数据集。数据质量通过光流验证和碰撞检测双重保障，支持从传统几何方法到前沿神经渲染的各类算法开发。

使用方法

研究者可通过标准化接口加载多模态数据流，利用内置的基准任务(如语义占据预测、SLAM)进行评估。针对特定应用，支持自定义相机参数重渲染图像，或提取机器人本体感知数据。数据集已证明能有效训练深度估计、BEV预测等感知模型，其跨域泛化能力验证需通过设计的城市-自然场景对比实验。对于神经表示学习，提供高斯泼溅等新型算法的训练范例，而导航任务可结合语义占据地图与运动轨迹开展模仿学习研究。

背景与挑战

背景概述

TartanGround是由ETH Zurich和卡内基梅隆大学机器人研究所的研究团队于2025年推出的大规模多模态数据集，旨在推动地面机器人在多样化环境中的感知与自主导航研究。该数据集通过高保真仿真环境收集了包括360度立体RGB图像、深度信息、光流、LiDAR点云、真实位姿、语义分割图像及带有语义标签的占据地图在内的多模态传感器数据，覆盖了70种不同环境下的910条轨迹，总计150万样本。TartanGround的推出填补了现有数据集中在环境多样性和传感器模态上的不足，为机器人感知与导航算法的泛化性研究提供了重要基准。

当前挑战

TartanGround面临的挑战主要体现在两个方面：领域问题方面，现有基于自动驾驶数据集训练的模型（如占据预测和SLAM算法）难以泛化到森林等复杂非结构化场景，暴露出环境适应性的显著局限；数据构建方面，需解决多传感器同步标定、动态光照与天气条件下的数据一致性，以及仿生运动轨迹生成（如轮式/腿式机器人运动模式模拟）等技术难题。此外，语义标注的跨场景普适性与大规模点云数据的存储优化也是关键挑战。

常用场景

经典使用场景

TartanGround数据集在机器人感知与导航领域具有广泛的应用价值，其经典使用场景包括多模态传感器数据的融合与处理。通过整合RGB立体相机、深度图像、光学流、LiDAR点云以及语义分割图像等多种数据，该数据集能够为机器人提供全面的环境感知能力。在复杂环境中，如森林、城市和工业设施等，TartanGround能够帮助机器人实现精确的定位与地图构建（SLAM），为后续的路径规划和自主导航提供可靠的数据支持。

解决学术问题

TartanGround数据集解决了机器人感知与导航领域中的多个关键学术问题。首先，它填补了现有数据集在环境多样性和传感器模态上的不足，为研究者提供了一个涵盖多种复杂场景的标准化测试平台。其次，通过提供精确的地面真实标注，如语义标签和占用地图，该数据集支持了语义分割、深度估计和占用预测等任务的模型训练与评估。此外，其大规模数据量和多样化的运动模式（如轮式和腿式机器人）为研究者在模型泛化性和鲁棒性方面提供了宝贵的研究资源。

衍生相关工作

TartanGround数据集衍生了一系列经典研究工作，尤其在机器人感知与导航领域产生了深远影响。基于该数据集，研究者开发了多种先进的SLAM算法，如DROID-SLAM和MACVO，这些算法在复杂环境中表现出色。此外，该数据集还推动了神经场景表示技术（如高斯泼溅和NeRF）的发展，为高保真场景重建和新视角合成提供了重要支持。在占用预测和语义分割任务中，TartanGround也为模型的性能提升和泛化能力验证提供了关键数据。