MM-5B

MM-5B数据集是一个大规模的多模态分层土地利用数据集，旨在为分层和多模态土地利用分类方法提供一个新的基准。该数据集由来自三种不同传感器类型（Google、Sentinel-2、GaoFen-2）的图像组成，提供了三个层级上的像素级注释，包括4、9和18个类别，总计31个具有不同语义粒度的类别。

The MM-5B dataset is a large-scale multimodal hierarchical land use dataset, aiming to provide a novel benchmark for hierarchical and multimodal land use classification methods. This dataset comprises images from three distinct sensor types: Google, Sentinel-2, and GaoFen-2, and offers pixel-level annotations across three hierarchical levels, with 4, 9, and 18 categories respectively, totaling 31 categories with varying semantic granularities.

原始信息汇总

HieraRS数据集概述

数据集简介

• 名称: HieraRS (A Hierarchical Segmentation Paradigm for Remote Sensing)
• 开发者: Tianlong Ai, Tianzhu Liu, Haochen Jiang, Yanfeng Gu (哈尔滨工业大学)
• 研究领域: 遥感图像多层次语义分割与跨领域迁移
• 核心贡献:
  • 提出分层解释范式HieraRS
  • 开发双向层次一致性约束机制(BHCCM)
  • 提出跨领域迁移框架TransLU
  • 构建MM-5B和Crop10m两个数据集

包含数据集

🗺 MM-5B数据集

• 全称: Multi-Modal Five-Billion-Pixels
• 类型: 大规模多模态分层土地覆盖与利用(LCLU)数据集
• 基础数据源: Five-Billion-Pixels数据集
• 特点:
  • 像素级标注
  • 多模态数据
  • 分层语义结构
• 下载链接:
  • 百度网盘: https://pan.baidu.com/s/1U5yjf7t1-RuaWMPOhSA1ow?pwd=MM5B
  • Google Drive: 待发布
  • Zenodo: 待发布
• 引用要求: 需同时引用原始Five-Billion-Pixels数据集

🌾 Crop10m数据集

• 用途: 农作物分类实验
• 数据来源:
  • 标签: You等人提出的年度农作物分类产品
  • 影像: 中国黑龙江省2019年7-10月无云Sentinel-2遥感影像
• 下载链接:
  • 百度网盘: https://pan.baidu.com/s/1fonBgDyASDtKD4uFb705Sg?pwd=CROP
  • Google Drive: 待发布
  • Zenodo: 待发布
• 引用要求: 需引用原始数据集论文

数据集状态

• 待发布内容:
  • MM-5B数据集(正在进行人工验证)
  • Crop10m数据集
  • HieraRS代码
  • HieraRS权重

可视化示例

• MM-5B数据集(GaoFen-2卫星数据)实验结果
• MM-5B数据集通用实验结果
• Crop10m数据集实验结果

致谢

• 感谢Tong等人提供的Five-Billion-Pixels数据集
• 感谢You等人提供的农作物分类产品
• 感谢MMSegmentation和OpenMMLab开源框架

搜集汇总

数据集介绍

构建方式

MM-5B数据集是基于Five-Billion-Pixels数据集扩展构建的大规模多模态分层土地利用数据集。通过整合Google Earth、GaoFen-2和Sentinel-2三种传感器数据，实现了空间分辨率和光谱配置的多样性互补。数据集构建过程包括地理校正、多源影像采集和像素级对齐等关键步骤，确保了多模态数据在空间上的一致性。标注体系采用三级分层结构，包含4个L1类别、9个L2类别和18个L3类别，形成了完整的树状分类体系。

特点

MM-5B数据集具有三个显著特点：多模态特性整合了1米RGB、4米多光谱和10米高光谱影像，为遥感解译提供了丰富的信息维度；分层标注体系支持从粗到细的多粒度地物解译，符合实际应用中层级分类需求；跨域兼容设计通过统一的几何校正和标注转换，实现了不同传感器数据的无缝衔接。数据集包含136个场景，覆盖中国多个地理区域，具有广泛的地表覆盖类型和显著的空间异质性。

使用方法

该数据集支持三种主要应用方式：作为基准测试平台，可评估分层分类算法在不同模态数据上的性能；通过内置的三级标签体系，能够训练具有多粒度解译能力的深度学习模型；其多源特性可用于研究跨模态特征融合与知识迁移方法。使用时应根据任务需求选择适当的分层级别，并注意不同传感器数据的预处理和归一化。数据集配套提供的树状分类体系可指导模型设计中的层次约束机制实现。

背景与挑战

背景概述

MM-5B数据集是由哈尔滨工业大学电子与信息工程学院的研究团队于2025年提出的一个多模态、多层次的遥感土地利用分类数据集。该数据集扩展自Five-Billion-Pixels数据集，整合了Google Earth、GaoFen-2和Sentinel-2三种不同传感器的遥感影像，空间分辨率涵盖1米、4米和10米，并提供了像素级的三级层次标注体系（4/9/18类）。作为首个支持跨传感器、跨分辨率层次化分类的基准数据集，MM-5B为遥感领域多粒度解译和跨域迁移研究提供了重要支撑，相关成果发表在IEEE Transactions系列期刊。

当前挑战

MM-5B数据集主要应对两大核心挑战：在领域问题层面，传统遥感分类方法采用扁平化范式，难以生成符合实际树状分类体系的多粒度预测结果，且跨域迁移时面临异质分类系统的适配难题；在构建层面，多源影像的空间对齐、跨传感器特征融合以及多层次标注的一致性维护构成技术瓶颈，特别是10米分辨率影像的细粒度标注需解决类间光谱混淆问题。此外，数据集还需平衡三级层次语义的覆盖广度与标注成本，这对标注专家的领域知识提出了更高要求。

常用场景

经典使用场景

在遥感影像分析领域，MM-5B数据集通过其多模态、多粒度的特性，为土地覆盖与土地利用（LCLU）分类提供了丰富的实验平台。该数据集整合了Google Earth、GaoFen-2和Sentinel-2三种传感器的数据，覆盖1米至10米的空间分辨率，支持从宏观植被分布到微观城市结构的跨尺度分析。其树状层级标注体系（4/9/18类别）尤其适用于验证层次化分类模型在端到端多粒度预测中的性能，例如通过双向层次一致性约束机制（BHCCM）实现语义连贯的分层输出。

衍生相关工作

MM-5B催生了多项层次化遥感分析的创新工作：1）Hiera-UNet利用软约束机制实现层级间信息传递；2）Yang等人提出的联合优化策略将地理空间数据库的类别层次嵌入模型；3）Liu等人开发的自动层次构建方法通过数据驱动聚类生成优于人工定义的分类体系。这些工作共同推动了层次化语义分割在RS领域的标准化进程。

数据集最近研究

最新研究方向

在遥感图像解译领域，MM-5B数据集的最新研究聚焦于多粒度层次化分类与跨领域迁移学习。该数据集通过整合Google Earth、GaoFen-2和Sentinel-2等多源传感器数据，构建了包含4/9/18类三级层次结构的大规模多模态标注基准。前沿研究主要围绕HieraRS框架展开，其创新性地提出双向层次一致性约束机制（BHCCM），将树状分类体系嵌入平面分类模型，实现端到端的多粒度预测；同时开发的TransLU跨领域迁移框架，通过跨域知识共享（CDKS）和语义对齐（CDSA）策略，支持动态类别扩展与异构分类系统的模型迁移。这些突破性方法在农业监测、城市规划等应用中展现出显著优势，为解决传统遥感解译中层次语义缺失和领域适应性不足等核心问题提供了新范式。

相关研究论文

• HieraRS: A Hierarchical Segmentation Paradigm for Remote Sensing Enabling Multi-Granularity Interpretation and Cross-Domain Transfer

  哈尔滨工业大学电子与信息工程学院 · 2025年