MONET

MONET数据集是由布鲁诺凯斯勒基金会和塞浦路斯研究所等机构合作创建的，旨在通过无人机搭载的热像仪捕捉乡村地区的多模态数据，包括人和车辆的活动。该数据集包含约53000张图像，其中162000个边界框被手动标注，用于支持目标定位和行为理解的研究。数据集的创建过程中，特别关注了不同视角和大规模变化下的目标活动，以及背景杂乱的问题。MONET数据集的应用领域主要集中在监控、安全和军事操作等，特别是在夜间或复杂环境中对目标的识别和跟踪。

The MONET dataset was collaboratively created by institutions including the Bruno Kessler Foundation and the Cyprus Institute, aiming to capture multimodal data of rural areas via thermal cameras mounted on unmanned aerial vehicles (UAVs), including the activities of humans and vehicles. This dataset contains approximately 53,000 images, with 162,000 manually annotated bounding boxes to support research on object localization and behavior understanding. During its development, particular attention was paid to target activities under varying perspectives and large-scale changes, as well as the issue of background clutter. The application scenarios of the MONET dataset mainly focus on surveillance, security, military operations and other related fields, particularly target recognition and tracking in nighttime or complex environments.

搜集汇总

数据集介绍

构建方式

在无人机视觉感知领域，热成像技术因其在低光照条件下的卓越表现而备受关注。MONET数据集的构建采用了搭载长波红外热像仪的多旋翼无人机，在塞浦路斯尼科西亚郊区的农村场景中系统采集数据。数据采集涵盖跑道和土路两种典型地形，通过飞行高度在20至130米之间的动态航拍，捕捉了人类与车辆活动的丰富序列。采集过程中，无人机姿态、速度、高度及GPS坐标等元数据以约40赫兹的频率同步记录，并与每帧图像时间戳对齐。后续标注工作由六名标注员借助CVAT工具完成，遵循严格的标注准则，包括边界框紧密贴合目标、插值帧间检查及遮挡标记等，最终经三人复核确保标注质量与一致性。

使用方法

MONET数据集适用于热红外图像中的目标检测、多目标跟踪及跨场景泛化等研究任务。使用者可依据跑道与土路场景划分，进行数据集的标准分割，开展同场景或跨场景的训练与评估实验。在算法开发中，可充分利用时间戳对齐的元数据，结合姿态与运动信息增强模型对尺度变化与运动模糊的鲁棒性。针对标注数据，研究人员可选择性使用遮挡标记框以模拟真实挑战，或利用忽略区域掩码避免模型学习场景偏见。数据集的评估可参照COCO标准指标，并可通过与HIT-UAV等其他热成像数据集的联合训练，探索迁移学习与域自适应方法的性能。项目页面提供了完整的标注文件、元数据及可视化工具，支持端到端的研究流程。

背景与挑战

背景概述

MONET数据集由Fondazione Bruno Kessler、INESC TEC及The Cyprus Institute等机构于2023年联合发布，旨在推动热成像无人机在乡村场景下的目标定位与行为理解研究。该数据集通过搭载热像仪的多旋翼无人机采集，覆盖跑道与土路两种典型乡村环境，包含约5.3万幅图像及16.2万个人工标注边界框，同步提供时间戳对齐的无人机姿态、速度、海拔与GPS坐标等元数据。其核心研究问题聚焦于大尺度视角变化与动态视角下的目标检测与跟踪，弥补了现有热成像无人机数据在多元场景与多模态信息融合方面的不足，为安防监控、搜救行动及军事应用等领域提供了关键数据支撑。

当前挑战

MONET数据集面临的挑战主要体现在领域问题与构建过程两方面。在领域问题层面，热成像目标检测需应对目标因环境温度、湿度及自身辐射特性导致的表观差异，低分辨率成像带来的细节模糊，以及背景热噪声干扰与目标间遮挡等问题，尤其在乡村复杂地形中，人物与车辆目标易与背景热辐射混淆，导致检测算法鲁棒性不足。构建过程中，数据采集需克服无人机快速运动引起的图像抖动、不同场景间环境结构差异导致的标注一致性难题，以及大规模热成像数据标注的高成本与隐私约束；此外，多模态元数据的时间戳对齐与质量控制亦增加了数据集构建的复杂度。

常用场景

经典使用场景

在无人机遥感与计算机视觉领域，MONET数据集为热成像目标检测与多目标追踪研究提供了关键支持。该数据集通过搭载热成像相机的无人机在乡村场景中采集，涵盖了跑道和土路两种不同环境结构，包含约5.3万张图像和16.2万个手动标注的边界框。其经典使用场景集中于评估和优化对象检测算法在热成像数据上的性能，特别是在目标尺度变化大、背景杂乱以及视角动态移动的复杂条件下。研究者常利用该数据集训练和测试各类检测模型，如Faster R-CNN、YOLOv8等，以探索模型在跨场景迁移学习中的鲁棒性。

解决学术问题

MONET数据集主要解决了热成像视觉中对象定位与行为理解的若干学术难题。热成像相机分辨率较低、易受噪声干扰，且目标外观受温度、发射率及环境条件影响显著，导致传统RGB视觉算法难以直接适用。该数据集通过提供大规模、多样化的标注热成像数据，支持算法开发以应对目标尺度剧烈变化、背景热干扰、目标遮挡及跨场景泛化等挑战。其意义在于推动了热成像多模态分析的研究，为无人机在低光照或恶劣环境下的自主感知提供了基准，促进了跨领域知识迁移与模型鲁棒性的提升。

实际应用

MONET数据集的实际应用场景广泛涉及安防监控、搜救行动及军事侦察等领域。在乡村或偏远地区，热成像无人机能够有效检测夜间或隐蔽环境下的人类与车辆活动，适用于打击非法入侵、监控农业区域或执行夜间巡逻任务。数据集提供的多模态数据，包括时间戳对齐的无人机元数据（如姿态、速度、海拔和GPS坐标），可支持实时目标追踪与轨迹预测系统的开发。这些应用不仅提升了监控效率，还降低了人力成本，为无人机在复杂环境中的自主作业提供了可靠的技术基础。

数据集最近研究

最新研究方向

在无人机遥感与热成像交叉领域，MONET数据集的推出标志着多模态感知研究迈入新阶段。该数据集聚焦于乡村场景下热成像目标检测与行为理解，其前沿探索主要围绕跨场景迁移学习与多模态融合展开。研究揭示，尽管采用相同传感器，模型在跑道与土路场景间的泛化能力显著下降，凸显了背景热辐射与地形结构差异带来的本质挑战。当前热点集中于利用无人机姿态、GPS坐标等元数据增强模型鲁棒性，例如通过时空对齐信息优化目标尺度估计与运动建模。YOLOv8与ObjectBox等先进检测器在相同场景表现优异，但在跨场景测试中性能波动，促使学界探索自适应数据增强与域适应策略。此类研究对夜间搜救、边境监控等实际应用具有深远意义，推动了热成像视觉算法在复杂动态环境中的实用化进程。

相关研究论文

• The MONET dataset: Multimodal drone thermal dataset recorded in rural scenarios

  布鲁诺凯斯勒基金会 · 2023年