TMOD

TMOD是一个专为捕获复杂、非结构化类似小径环境而设计的多模态数据集，使用中型全地形机器人平台收集。数据集包括同步的高保真128通道3D LiDAR、立体图像、GNSS、IMU、遥测控制信号和环境光照测量。数据是在变化的环境条件下通过重复穿越各种路线收集的。

TMOD is a multimodal dataset specifically designed to capture complex, unstructured environments akin to trail-like conditions, collected using a medium-scale all-terrain robotic platform. The dataset includes synchronized high-fidelity 128-channel 3D LiDAR, stereoscopic images, GNSS, IMU, telemetry control signals, and environmental light measurements. The data was collected under varying environmental conditions through repeated traversals of various routes.

原始信息汇总

TMOD数据集概述

数据集简介

TMOD是一个基于轨迹的多模态越野数据集，专为在具有挑战性光照条件下的可通行路径分割研究设计。数据集通过中型全地形机器人平台采集，包含复杂非结构化类似小径的环境数据。

传感器配置

• LiDAR:

  • 型号：Ouster OS1（128通道）
  • 波长：865nm
  • 探测能力：100m（>90%概率），120m（>50%概率）
  • 关键参数：0.3cm距离分辨率，360°水平视场，45°垂直视场

• 立体相机:

  • 型号：ZEDx双镜头立体相机
  • 分辨率：最高2×(1920×1200)@60fps
  • 视场：110°(H)×80°(V)×120°(D)

• IMU:

  • 集成于ZEDx相机内
  • 参数：±12G加速度，±1000dps角速度，400Hz采样率

• GNSS:

  • 型号：u-blox ZED-F9P-0xB
  • 精度：0.01m±1ppm CEP
  • 更新率：20Hz

• 照度计:

  • 型号：Yoctopuce Light V4
  • 分辨率：0.01lux
  • 测量范围：最高83,000lux

数据内容

数据集包含以下同步采集的数据：

• 高保真128通道3D LiDAR数据
• 立体图像
• GNSS数据
• IMU数据
• 遥测控制信号
• 环境光照测量数据

数据结构

数据集按以下结构组织：

TOMD/ ├── TOMD_mm_dd_yy_partx/ │ ├── Images/ # 立体图像（已校正且时间同步） │ ├── Pointclouds/ # LiDAR数据（x,y,z,强度） │ ├── IMU/ # 惯性测量单元数据 │ ├── GPS/ # GNSS输出 │ ├── Lux/ # 环境光照读数 │ └── Control/ # 机器人运动指令

校准文件

每个序列提供calibration.txt文件，包含：

• LiDAR与立体相机之间的外参矩阵
• 立体相机的内参矩阵
• 畸变系数（如适用）

数据获取

完整数据集可通过Durham Collection获取，格式为.7z压缩文件。

搜集汇总

数据集介绍

构建方式

TMOD数据集通过中型全地形机器人平台在复杂非结构化环境中采集多模态数据，采用系统化的同步采集策略确保数据一致性。数据采集过程涵盖不同环境条件下的重复路径遍历，集成128通道LiDAR、双目立体视觉、GNSS、IMU及环境光传感器等多源传感器，各传感器通过硬件时间同步机制实现微秒级对齐。原始数据经严格的时间戳匹配和空间校准处理，形成具有时空一致性的多模态序列。

特点

该数据集以挑战性光照条件下的可通行路径分割为研究核心，其突出特点在于高密度的128通道LiDAR点云与高帧率立体图像的同步获取，配合厘米级精度的RTK-GNSS定位数据。传感器配置具有专业级性能指标，如LiDAR达0.3cm距离分辨率、立体相机支持120fps采集，配合400Hz高精度IMU和83,000lux量程的光照传感器，为光照敏感研究提供独特数据支持。多模态数据采用标准化CSV和NPY格式存储，附带详尽的传感器标定参数。

使用方法

使用者可通过Durham Collection获取压缩格式数据集，解压后按日期和路线分类的文件夹结构组织数据。每个序列包含时间对齐的立体图像、LiDAR点云、惯性导航数据及控制指令，配套的标定文件提供传感器间外参矩阵和相机内参。研究者可利用Python等工具处理NPY格式点云数据，结合OpenCV处理立体视觉图像，通过时间戳实现多模态数据融合。数据集特别适用于开发光照鲁棒的可通行区域检测算法。

背景与挑战

背景概述

TMOD（Trail-based Off-road Multimodal Dataset）是由Durham University的研究团队开发的多模态数据集，专注于复杂非结构化环境下的可通行路径分割问题。该数据集通过中型全地形机器人平台采集，整合了128通道3D LiDAR、立体视觉、GNSS、IMU等多种传感器数据，旨在解决野外环境中光照条件变化对路径识别带来的挑战。数据集的设计充分考虑了实际应用场景的复杂性，通过重复遍历不同路线获取多时段、多光照条件下的同步数据，为自动驾驶和机器人导航领域提供了重要的基准资源。

当前挑战

TMOD数据集面临的挑战主要体现在两个方面：在领域问题层面，非结构化环境中光照变化、植被遮挡和地形突变等因素导致传统视觉算法难以稳定识别可通行区域；在构建技术层面，多传感器时空同步、大容量数据存储（单次采集达TB级）以及极端环境下的设备稳定性成为关键瓶颈。此外，标注过程中需处理LiDAR点云与立体图像的跨模态对齐，这对标注精度和效率提出了更高要求。

常用场景

经典使用场景

在越野机器人导航领域，TMOD数据集为解决复杂地形下的可通行路径分割问题提供了关键支持。其多模态传感器配置尤其适用于光照条件剧烈变化的野外环境，研究人员可利用同步的LiDAR点云与立体视觉数据，开发鲁棒性更强的语义分割算法。数据集包含的重复路线不同时段采集数据，为研究环境动态变化对感知系统的影响提供了理想实验平台。

衍生相关工作

该数据集已催生多项创新性研究，包括基于时空一致性的多模态特征融合框架TrailNet++，以及适应光照变化的动态注意力机制模型SolarEye。相关成果在IROS和RAL等顶级会议期刊形成系列论文，其中跨模态自监督学习方法LuxFormer通过利用环境光照数据，在无监督域适应任务中实现了突破性性能提升。

数据集最近研究

最新研究方向

在越野机器人导航领域，TMOD数据集因其多模态数据采集能力和复杂环境下的高精度同步记录，正成为研究热点。该数据集通过整合128通道LiDAR、立体视觉、GNSS及环境光照数据，为光照条件变化下的可通行路径分割算法提供了前所未有的基准测试平台。近期研究聚焦于多传感器融合的实时语义分割网络架构优化，特别是在极端光照条件下的鲁棒性提升。随着自动驾驶技术向非结构化环境拓展，TMOD的时空同步多模态特性为跨模态表征学习、动态环境建模等前沿方向提供了关键数据支撑，相关成果已应用于野外救援、军事侦察等特种机器人场景。