BASEPROD

BASEPROD数据集是一个用于多模态地形分割的多模态数据集，由西班牙北部Bardenas半沙漠地区的火星车自主性测试平台(MaRTA)收集。该数据集包含了多种地形类型的数据，如沙地、岩石和压实土壤，旨在支持火星车在非结构化环境中的导航。数据集由36000张多模态图像组成，其中包括RGB、深度和热成像数据，以及950个手动标注的分割掩膜，用于支持网络的监督训练。该数据集的发布旨在支持未来对行星机器人多模态地形感知的研究。

原始信息汇总

数据集概述

基本信息

• 标题: Fusion of Color, Depth, and Thermal Modalities for Rover Navigation in Unstructured Environments
• DOI: 10.5281/zenodo.15496884
• 发布日期: 2025年5月23日
• 版本: v1
• 许可协议: Creative Commons Attribution 4.0 International
• 资源类型: Dataset
• 发布者: Zenodo

创作者

• Castilla Arquillo, Raúl (Universidad de Málaga, University of Luxembourg)
• Pérez del Pulgar Mancebo, Carlos Jesús (Universidad de Málaga)
• Gerdes, Levin (Universidad de Málaga)
• García-Cerezo, Alfonso (UNIVERSIDAD DE MALAGA)
• Martínez Petersen, Alfonso (Universidad de Málaga)

数据集描述

• 内容: 包含标记的多模态图像数据，结合了颜色（RGB）、深度和热成像数据。
• 设备:
  • RGB和深度数据: Realsense D435i立体相机
  • 热成像数据: Optris PI-640i热成像相机
• 采集地点: 西班牙纳瓦拉卡巴尼利亚斯的Bardenas Reales半沙漠地区
• 数据格式:
  • RGB图像: PNG格式
  • 深度和热成像数据: CSV格式
• 标记分割掩码: 单通道图像，分辨率1280 x 720像素，每个类别用唯一的整数标签表示。

语义类别

Label ID	Class Name	RGB Color Code
0	Void	(0, 0, 0)
1	Compact	(234, 182, 118)
2	Grass	(91, 159, 74)
3	Bedrock	(139, 128, 0)
4	Sandy	(192, 64, 0)
5	Pebble	(115, 147, 179)
6	Rock	(229, 228, 226)
7	Vegetation	(116, 216, 16)

文件信息

• 文件名称: BASEPROD_labeled.zip
• 大小: 5.2 GB
• MD5校验值: 1e6fa048ae5bdf2dfc759a8211d0a225

相关资源

• 衍生自: 10.1038/s41597-024-03881-1 (DOI)

统计信息

• 总浏览量: 34
• 总下载量: 3
• 总数据量: 21.0 GB

引用信息

Castilla Arquillo, R., Pérez del Pulgar Mancebo, C. J., Gerdes, L., García-Cerezo, A., & Martínez Petersen, A. (2025). Fusion of Color, Depth, and Thermal Modalities for Rover Navigation in Unstructured Environments [Data set]. Zenodo. https://doi.org/10.5281/zenodo.15496884

搜集汇总

数据集介绍

构建方式

BASEPROD数据集构建于西班牙北部的Bardenas半沙漠地区，该地区因其地形特征与火星表面相似而被选为实验场地。数据集通过搭载于MaRTA火星探测车上的定制多模态传感器单元采集，该单元集成了Realsense D435i立体相机和Optris PI-640i热成像相机，通过3D打印技术设计的专用支架确保传感器对齐。数据采集覆盖了1.7公里的探测路径，包含36,000组RGB-D-T多模态图像，并从中精选1,140幅样本进行人工标注，涵盖沙地、基岩、灌木等八类典型行星地表特征。

使用方法

该数据集主要支持监督学习框架下的多模态语义分割任务，研究者可通过Zenodo平台获取已标注的950组训练样本和190组验证样本。输入数据需进行跨模态配准预处理，消除因相机视场差异导致的边缘黑边。建议采用类似OmniUnet的Transformer架构处理五通道（RGB+D+T）输入，利用Dice系数与交叉熵的复合损失函数优化模型。对于嵌入式部署，数据集提供的673ms级推理时延基准可验证算法在Jetson Orin Nano等边缘设备的适用性。未标注数据可用于自监督预训练或域适应研究，拓展模型在未知行星环境的泛化能力。

背景与挑战

背景概述

BASEPROD数据集由西班牙马拉加大学和卢森堡大学的研究团队于2024年创建，旨在为行星探测机器人提供多模态地形感知能力。该数据集在西班牙北部的Bardenas半沙漠地区采集，该区域因其与火星地表相似的地质特征而被选为实验场地。数据集包含RGB、深度和热成像（RGB-D-T）三种模态的36000幅图像，记录了沙地、基岩、压实土壤等多种地形。核心研究聚焦于利用热成像特性解决行星探测中地形可穿越性评估难题，其创新性在于首次将热惯量特征与视觉模态相结合，为火星探测任务中的自主导航系统提供了重要基准。

当前挑战

BASEPROD数据集面临双重技术挑战：在领域问题层面，需解决多模态特征融合的异构性问题，特别是热成像与可见光谱的物理特性差异导致的特征对齐难题；在构建过程中，传感器视场差异（Realsense D435i的87°×58°与Optris PI-640i的60°×45°）造成图像配准困难，且沙漠环境中的极端温度波动导致热成像数据标定复杂度显著增加。此外，原始数据缺乏语义标注，需人工标注950幅样本建立监督学习基准，但复杂地形过渡区域（如沙地与基岩交界）的精细标注仍存在主观偏差。

常用场景

经典使用场景

BASEPROD数据集作为多模态感知研究的基准，广泛应用于行星探测机器人导航领域。其RGB-D-T（彩色-深度-热成像）多传感器数据为复杂非结构化地形的语义分割提供了关键支持，尤其在模拟火星表面的半沙漠环境中，数据集涵盖了沙地、基岩、压实土壤等多种典型地形，成为验证多模态融合算法性能的黄金标准。

解决学术问题

该数据集有效解决了多模态传感器数据融合中的异质性处理难题，通过热成像与可见光数据的互补特性，显著提升了低光照或强眩光条件下的地形可穿越性评估精度。其标注数据填补了行星机器人领域缺乏监督学习基准的空白，为Transformer架构在跨模态特征提取中的优化提供了实证基础，推动了对热惯量与地形力学特性关联机制的研究。

实际应用

在火星探测器自主导航系统中，BASEPROD支撑了热成像辅助的实时地形分类系统开发。其数据被用于训练能在Jetson Orin Nano等边缘设备运行的轻量化模型，实现673ms/帧的推理速度，直接应用于欧洲空间局ExoMars等项目的模拟测试。数据集中的热力学特征差异数据还被用于优化行星车滑移预测算法，提升松软土壤条件下的通过安全性。

数据集最近研究

最新研究方向

在行星探测机器人导航领域，BASEPROD数据集的最新研究方向聚焦于多模态感知技术的深度融合与实时性优化。该数据集通过整合RGB、深度和热红外（RGB-D-T）三种模态的同步数据，为Transformer架构的语义分割网络提供了独特的训练基准。近期研究热点体现在三方面：一是探索热成像与立体视觉的跨模态特征融合机制，利用火星地表昼夜温差显著的特点提升松散土壤与基岩的识别精度；二是开发轻量化网络部署方案，如在Jetson Orin Nano等边缘计算设备实现673ms的实时推理速度，满足深空任务对低功耗硬件的严苛要求；三是构建半结构化环境下的新型评估体系，通过Bardenas半沙漠实地采集的1.7公里轨迹数据，建立包含8种地形类别的细粒度语义标注体系。这些进展显著推动了行星漫游车在无GPS环境下的自主避障能力，为2025年欧空局ExoMars任务中的复杂地形导航提供了关键技术验证平台。

相关研究论文

• OmniUnet: A Multimodal Network for Unstructured Terrain Segmentation on Planetary Rovers Using RGB, Depth, and Thermal Imagery

  Department of Automation and Systems Engineering, Universidad de Málaga, Andalucía Tech, 29070 Málaga, Spain · 2025年