MassMIND: Massachusetts Maritime INfrared Dataset

MassMIND数据集是由麻省理工学院海洋自主传感系统实验室创建，包含2916张长波红外分割图像，这些图像捕捉了多种海洋环境下的场景，如复杂的海洋环境、建筑、生物体及近岸景观。数据集通过实例分割和分类，将图像分为七个类别：天空、水、障碍物、生物障碍物、桥梁、自身和背景。该数据集旨在解决海洋自主导航中的场景理解问题，特别是在极端光照条件下的应用。

The MassMIND dataset was created by the Marine Autonomous Sensing Systems Laboratory at the Massachusetts Institute of Technology (MIT). It contains 2916 long-wave infrared (LWIR) segmented images that capture scenes across diverse marine environments, including complex marine settings, man-made structures, living organisms, and nearshore landscapes. Using instance segmentation and classification, the dataset categorizes images into seven classes: sky, water, obstacles, biological obstacles, bridges, ego vehicle, and background. This dataset is designed to address scene understanding challenges in marine autonomous navigation, particularly for applications under extreme lighting conditions.

搜集汇总

数据集介绍

构建方式

在海洋自主感知领域，长波红外成像技术因其在极端光照条件下的稳定性而备受关注。MassMIND数据集的构建依托于麻省理工学院自主水下航行器实验室的R/V Philos自主水面航行器，该平台搭载了多代FLIR ADK长波红外相机，于2019年至2021年间在马萨诸塞湾海域系统采集了超过2900幅图像。数据采集过程覆盖了不同季节与昼夜时段，并特别关注了近岸复杂场景与开阔水域，以确保环境多样性。图像筛选阶段，团队结合同步获取的光学影像辅助判断场景复杂度，并有意纳入黄昏后场景以凸显长波红外的优势。最终采用实例分割方法，通过Segments.ai平台进行精细标注，每幅图像平均耗时约25分钟，并经过两轮人工审核确保标注质量。

特点

作为首个面向海洋环境的长波红外实例分割数据集，MassMIND的核心特点体现在其多维度代表性。数据集涵盖七种类别——天空、水体、障碍物、活体障碍物、桥梁、自身及背景，这种细粒度分类体系特别针对海洋自主导航需求设计，能够清晰区分对航行路径产生实质影响的动态与静态实体。其时空多样性尤为突出，图像采集跨越两年周期，囊括了繁忙近海水域与开阔海面在不同光照、天气条件下的真实场景。值得注意的是，数据集包含了2019年（320×240）与2020年后（640×512）两种分辨率图像，这种异构性模拟了实际部署中传感器迭代的常态。此外，实例分割策略保留了远景与近景物体的空间重叠信息，为开发具有遮挡感知能力的分类器提供了关键支持。

使用方法

该数据集主要服务于海洋自主系统感知模块的研发与评估。研究者可直接使用其提供的实例分割标注训练场景理解模型，尤其适用于极端光照条件下传统光学传感器失效的场景。数据集已通过UNet、PSPNet和DeepLabv3三种主流架构的基准测试，结果显示在原始分辨率下训练能有效保留小尺度障碍物的特征信息。实际应用中，建议采用数据增强策略，如±2°、±5°、±7°旋转及垂直镜像变换，可将数据规模扩展至约4万幅。对于障碍物、活体障碍物等像素占比较小的关键类别，评估时可采用动态IoU阈值（如0.3）以平衡检测率与空间精度。数据集还可与现有光学海事数据集互补使用，构建多模态感知系统，提升复杂海洋环境下自主导航的鲁棒性。

背景与挑战

背景概述

随着深度学习技术的飞速发展，地面车辆的自主性取得了革命性进步。沿海水域的自主水面载具（ASVs）常用于监视、监测等例行任务，其自主化进程同样受益于此。然而，海洋环境的光照条件多变，光学图像在强光或暗光下易受干扰，而长波红外（LWIR）成像在极端光照下表现稳健，成为光学频谱的有力补充。尽管存在若干海事数据集，但多为光学图像，缺乏公开的LWIR标注数据集。为此，麻省理工学院与马萨诸塞大学洛厄尔分校的研究团队于2022年发布了MassMIND数据集，该数据集包含超过2,900幅在马萨诸塞湾沿海水域采集的LWIR图像，并进行了实例分割标注，涵盖天空、水域、障碍物、生物障碍物、桥梁、自身及背景七大类。这一数据集的创建旨在提升海事场景感知能力，推动自主导航系统的研究与应用。

当前挑战

MassMIND数据集致力于解决海事环境中基于红外图像的场景理解与障碍物检测问题，其核心挑战在于极端光照条件下的可靠感知。具体而言，光学传感器在强眩光或黑暗环境中性能显著下降，而LWIR成像虽能弥补此缺陷，却缺乏纹理与色彩信息，增加了图像标注与模型训练的难度。在数据集构建过程中，研究人员面临多重挑战：首先，LWIR图像中目标边缘模糊，需借助对应光学图像辅助标注，耗时且易引入主观偏差；其次，海事场景中类别分布极不均衡，天空与水域占据主导，而关键障碍物像素面积微小，易被淹没；此外，桥梁等复杂结构的导航相关部分需精确区分，标注一致性难以保证；最后，实例分割要求保留重叠障碍物的独立信息，以支持遮挡感知分类器的开发，这对标注精度提出了更高要求。

常用场景

经典使用场景

在海洋自主航行领域，MassMIND数据集为长波红外（LWIR）图像分析提供了关键支持。该数据集通过实例分割标注了超过2900幅沿海环境图像，涵盖天空、水域、障碍物、生物障碍、桥梁、自身及背景七类对象，为深度学习模型训练提供了丰富素材。其经典应用场景集中于提升自主水面载具（ASV）在复杂光照条件下的环境感知能力，特别是在强光、黑暗或雾霭等极端视觉环境中，LWIR图像能有效弥补光学传感器的局限性，实现更稳健的场景解析与障碍物检测。

解决学术问题

MassMIND数据集主要解决了海洋视觉感知中因环境光照变化导致的图像质量退化问题。传统光学图像在眩光、反射或低光照条件下常出现视野模糊或地平线检测困难，而LWIR技术基于热辐射成像，不受可见光干扰。该数据集通过提供多样化标注的LWIR图像，支持学术界开发更鲁棒的场景分割与目标检测模型，尤其在处理微小障碍物（如浮标、鸟类）及动态生物体识别方面，推动了海洋自主导航中环境理解算法的进步。

衍生相关工作

基于MassMIND数据集，多项经典研究工作得以衍生，进一步拓展了海洋红外视觉的学术边界。例如，研究者利用该数据评估了UNet、PSPNet和DeepLabv3等分割架构在LWIR图像上的性能，其中DeepLabv3在障碍物与生物体识别中表现突出。后续工作还探索了实例分割模型在遮挡处理与多目标追踪中的应用，并促进了与光学数据集的融合研究，为开发全天候自主航行系统提供了算法基础。