MESSI

MESSI数据集是由以色列理工学院计算机科学系的研究人员创建的，它包含2525张由无人机在不同高度拍摄的密集城市环境下的图像。该数据集的独特之处在于它提供了从不同高度拍摄的图像，这有助于研究深度对语义分割的影响。此外，MESSI还包含了从不同城市区域（不同高度）拍摄的图像，这些图像覆盖了无人机3D飞行过程中捕捉到的视觉丰富性。MESSI中的图像都标注了位置、方向和相机内参，可以用于训练深度神经网络进行语义分割或其他应用，例如定位、导航和跟踪。该数据集旨在为使用无人机或其他类似飞行器在密集城市环境中捕获的图像进行语义分割提供一个评估基准。

The MESSI dataset was developed by researchers from the Department of Computer Science, Technion – Israel Institute of Technology. It contains 2,525 images captured by drones in dense urban environments at varying altitudes. The unique feature of this dataset is that it provides images taken from different heights, which facilitates research on the impact of depth on semantic segmentation. Additionally, MESSI includes images shot across different urban areas at varying altitudes, which cover the rich visual details captured during the 3D flight of the drones. All images in MESSI are annotated with location, orientation, and camera intrinsic parameters, and can be used to train deep neural networks for semantic segmentation or other applications such as localization, navigation, and tracking. This dataset aims to provide an evaluation benchmark for semantic segmentation tasks using images captured by drones or other similar aerial vehicles in dense urban environments.

原始信息汇总

MESSI数据集概述

基本信息

• 数据集名称: MESSI Dataset
• 全称: Multiple-Elevation Semantic Segmentation Image dataset for aerial urban environment exploration
• 作者: Barak Pinkovich, Boaz Matalon, Ehud Rivlin, Hector Rotstein
• 版本: v1.0 (发布于23/05/2024)

数据集简介

• 目的: 用于评估无人机在密集城市环境中寻找合适着陆点的语义分割算法
• 特点: 包含不同海拔高度拍摄的图像，支持多分辨率分析
• 应用场景: 城市环境语义分割算法开发、视觉里程计算法探索

数据采集

• 地点: 以色列Netanya和Tel Aviv城市选定区域
• 飞行高度: 30m、50m、70m、100m
• 图像总数: 2525张
• 采集方式:
  • 沿直线路径飞行拍摄
  • 特定点下降过程中拍摄（用于分割结果相关性研究）
• 采集设备:
  • 无人机型号: DJI MAVIC 2 PRO
  • 相机: DJI-FC6310R (分辨率5472×3648)
  • 定位系统: INS/GPS with RTK positioning

数据标注

• 标注工具: V7图像标注工具
• 标注类别: 16类（包含"void"未标注像素类）
• 标注内容: 密集像素级标注

数据结构

MESSI DATASET ├───Test │ ├───6DOF │ │ ├───Ha-Medinah Square │ │ │ └───Path │ │ │ └───60 │ │ └───IrYamim │ │ └───Path │ │ ├───30 │ │ ├───... │ │ └───100 │ └───images │ ├───Ha-Medinah Square │ │ └───Path │ │ └───60 │ └───IrYamim │ └───Path │ ├───30 │ ├───... │ └───100 └───Train and Val ├───6DOF │ └───Agamim │ ├───Descend │ │ ├───100_0001 │ │ ├───... │ │ └───100_0043 │ └───Path │ ├───A │ │ ├───30 │ │ ├───... │ │ └───100 │ ├───B │ │ ├───30 │ │ ├───... │ │ └───100 │ └───C │ ├───30 │ ├───... │ └───100 ├───annotations │ └───Agamim │ ├───Descend │ │ ├───100_0001 │ │ ├───... │ │ └───100_0043 │ └───Path │ ├───A │ │ ├───30 │ │ ├───... │ │ └───100 │ ├───B │ │ ├───30 │ │ ├───... │ │ └───100 │ └───C │ ├───30 │ ├───... │ └───100 └───images └───Agamim ├───Descend │ ├───100_0001 │ ├───... │ └───100_0043 └───Path ├───A │ ├───30 │ ├───... │ └───100 ├───B │ ├───30 │ ├───... │ └───100 └───C ├───30 ├───... └───100

许可信息

• 版权: 数据集及代码归作者所有
• 许可协议: Creative Commons Attribution-NonCommercial-ShareAlike 3.0 License

搜集汇总

数据集介绍

构建方式

MESSI数据集通过无人机在密集城市环境中进行多高度飞行采集构建，包含2525张高分辨率图像。无人机在以色列Netanya和Tel Aviv的不同区域执行水平和垂直轨迹飞行，覆盖30米至120米的高度范围。水平轨迹包括Agamim和Ir Yamim区域的四个固定高度（30、50、70、100米），垂直轨迹则记录了从120米降至10米的连续高度变化。所有图像均采用RTK INS/GPS定位系统记录位置和姿态信息，并通过V7 Darwin工具进行像素级标注，标注过程采用三级质量控制确保数据一致性。

特点

MESSI数据集的核心特点在于其多高度视角的有机整合与城市场景的丰富覆盖。相较于现有数据集，其独特价值体现在三个方面：首先，通过系统设计的高度梯度（水平轨迹4个固定高度+垂直连续降高）捕捉同一场景的多尺度表征，为研究空间分辨率对语义分割的影响提供基准；其次，标注数据包含15个精细类别（如建筑、交通工具地形、行人地形等）和相机内参，支持分割、定位、导航等多任务研究；最后，数据采集覆盖三种异质城市区域（Agamim、Ir Yamim、Ha-Medinah Square），包含75%的帧间重叠设计，充分保留无人机三维机动中的视觉信息变化。

使用方法

该数据集支持端到端的语义分割模型训练与评估，具体使用包含三个层级：基础应用可直接加载已划分的训练集（垂直轨迹降采样图像）和测试集（水平轨迹图像）进行模型训练，采用MMSegmentation工具箱实现；进阶研究可利用高度元数据开展跨尺度分析，例如通过控制训练集高度区间验证模型在未见过高度的泛化能力；扩展应用可结合位置/姿态信息开发多任务学习框架。技术细节上，建议将原始图像（5472×3684）分割为2048×1366的重叠图块处理，采用Sqrt加权策略缓解类别不平衡问题，并推荐使用SegFormer-B3作为基准模型。

背景与挑战

背景概述

MESSI（Multi-Elevation Semantic Segmentation Image）数据集由以色列理工学院的研究团队于2025年发布，旨在为无人机在密集城市环境中的语义分割任务提供多海拔视角的基准数据。该数据集包含2525张高分辨率图像，覆盖不同飞行高度（30米至120米）和多种城市区域，特别关注了深度变化对语义分割的影响。MESSI的独特之处在于其系统性采集了水平与垂直轨迹的图像，为研究三维飞行中的视觉丰富性提供了重要资源。该数据集不仅支持语义分割模型的训练，还可用于定位、导航等衍生研究，填补了现有数据集中在多海拔视角分析上的空白。

当前挑战

MESSI数据集面临的挑战主要体现在两方面：领域问题方面，无人机图像语义分割需应对物体尺寸因高度变化导致的尺度差异、三维机动引发的多视角遮挡，以及城市环境中密集物体的复杂分布；构建过程方面，数据采集需平衡高分辨率与广覆盖的矛盾，严格遵守城市空域法规，而像素级标注则需处理15类物体的精细划分，尤其是建筑物整体标注策略与内部物体的矛盾。此外，数据集中类别分布高度不均衡（如交通工具与自行车类别的样本量差异显著），对模型训练的公平性提出了挑战。

常用场景

经典使用场景

MESSI数据集作为多高度城市环境语义分割的基准数据集，其经典使用场景主要集中在无人机视觉感知领域。通过在不同海拔高度（30米至120米）采集的2525张高分辨率图像，研究者能够系统性分析空间分辨率变化对语义分割算法性能的影响。该数据集特别适用于研究城市环境中建筑物、交通地形、植被等16类目标的尺度不变性表征问题，其水平与垂直飞行轨迹的独特设计为多视角三维场景理解提供了数据基础。

实际应用

在实际应用层面，MESSI数据集直接支持城市无人机系统的关键功能开发。其多高度特性可优化紧急降落系统的地形识别模块，通过融合不同海拔的语义信息提升障碍物检测精度。数据集包含的RTK定位数据与相机参数，使得其能服务于无人机自主导航中的实时场景理解，特别是在建筑密集区域的路径规划中表现出色。此外，该数据集也被应用于智慧城市建设的遥感分析，如交通流量监测和绿地覆盖率统计等市政管理场景。

衍生相关工作

基于MESSI数据集已衍生出多个重要研究方向：在算法层面，SegFormer等Transformer架构在该数据集上验证了多尺度特征融合的有效性；在应用层面，Pinkovich等人开发的概率着陆系统利用其垂直轨迹数据实现了城市环境下的安全区域检测。该数据集还促进了跨数据集迁移学习研究，如与Cityscapes的联合训练框架，显著提升了模型在未知城市景观上的泛化能力。其发布的在线测试基准持续推动着语义分割领域的新型网络架构设计和评估标准演进。