GTPBD-MM

GTPBD-MM是由中山大学等机构构建的全球首个多模态梯田地块提取基准数据集，集成高分辨率光学影像、结构化文本描述及DEM数据，覆盖全球25个国家超过900平方公里区域。数据集包含严格空间对齐的三级标注（掩膜/边界/地块标签），通过融合视觉外观、场景语义与地形几何信息，为复杂梯田场景的协同解析提供标准化评估框架。其构建过程继承GTPBD标注体系并新增11国样本，主要应用于农业遥感监测领域，旨在解决传统方法在梯田地块语义混淆与边界模糊问题上的局限性。

GTPBD-MM is the world's first multimodal benchmark dataset for terraced field parcel extraction, developed by Sun Yat-sen University and other institutions. It integrates high-resolution optical imagery, structured textual descriptions and DEM data, covering an area of over 900 square kilometers across 25 countries globally. The dataset features three levels of strictly spatially aligned annotations, including masks, boundaries and parcel labels. By fusing visual appearance, scene semantics and topographic geometric information, it provides a standardized evaluation framework for collaborative parsing of complex terraced field scenarios. Its construction inherits the annotation system of GTPBD and adds samples from 11 additional countries. It is mainly applied in the field of agricultural remote sensing monitoring, aiming to address the limitations of traditional methods in dealing with semantic confusion and boundary ambiguity of terraced field parcels.

原始信息汇总

GTPBD-MM 数据集概述

数据集基本信息

• 数据集名称：GTPBD-MM (Global Terraced Parcel and Boundary Dataset with Multi-Modality)
• 核心定位：首个面向全球复杂梯田地块提取的多模态基准数据集。
• 基础来源：基于 GTPBD 数据集构建。

核心特征

• 多模态对齐：每个样本包含空间对齐的高分辨率光学影像、数字高程模型数据、面向任务的文本描述以及三级标注（掩码、边界和地块矢量标签），为多模态解析和梯田地块提取提供了统一基础。

规模与覆盖范围

• 地理覆盖：数据采集自全球分布的梯田区域，覆盖全球 25 个国家。
• 中国覆盖：涵盖中国七大地理区域。
• 其他国家示例：包括尼泊尔、印度尼西亚、津巴布韦等11个其他国家。
• 数据规模：总面积超过 900 平方公里，包含超过 200,000 个手动标注的地块多边形。
• 多样性：在形态和区域风格上提供了丰富的多样性。

数据模态与内容

• 光学影像：高分辨率。
• 数字高程模型：DEM 数据。
• 文本描述：专门为梯田地块提取任务设计，描述场景级布局、局部地块形态和周围空间关系，提供超越通用描述的任务相关语义信息。高频术语包括 terrace、irregular、curved、dense 和 vegetation。
• 标注类型：三级标注（掩码、边界和地块矢量标签）。

支持的评估设置

数据集设计用于支持以下输入设置下的系统化多模态评估：

• 仅图像
• 图像 + 文本
• 图像 + 文本 + DEM

获取方式

• 公开状态：公开可用。
• 下载地址：可通过 Hugging Face Datasets 平台访问和下载：https://huggingface.co/datasets/wxqzzw/GTPBD-MM
• 建议：强烈建议访问官方数据集页面以获取最新的访问说明和使用条款。

补充材料

• 文件：本仓库中提供了论文的详细补充材料，文件名为：supplementary materials(GTPBD-MM).pdf。
• 内容：包含额外的数据集样本、与现有数据集的比较可视化、模型细节、评估指标的完整定义以及更广泛的实验结果和定性可视化。

搜集汇总

数据集介绍

构建方式

在遥感农业监测领域，针对复杂梯田场景的精细化解析需求，GTPBD-MM数据集通过整合多模态数据构建而成。该数据集以GTPBD为基础，系统性地融合了高分辨率光学影像、数字高程模型以及结构化文本描述。光学影像主要来源于高分二号卫星，DEM数据经过重采样、裁剪与配准，确保与影像及三级标注严格空间对齐。文本描述则聚焦于梯田场景的布局、形态及空间关系，提供超越通用标注的任务导向语义信息。这一构建流程实现了图像、文本与地形几何在统一样本中的对齐，为多模态梯田地块解析奠定了标准化数据基础。

特点

GTPBD-MM数据集的核心特征在于其面向全球复杂梯田场景的多模态统一性。数据集覆盖全球25个国家超过900平方公里的梯田区域，并系统涵盖中国七大地理分区，具备广泛的地理代表性与地貌多样性。每个样本均包含空间对齐的高分辨率影像、DEM及任务导向文本，并辅以掩膜、边界和地块三级精细化标注。这种设计使得数据集能够支持图像、图像+文本、图像+文本+DEM三种基准设置的系统评估，为研究视觉外观、文本语义与地形几何在复杂梯田解析中的互补作用提供了独特而全面的平台。

使用方法

GTPBD-MM数据集为复杂梯田地块提取研究提供了系统的基准评估框架。研究者可在统一的训练/验证/测试划分下，分别评估仅使用图像、图像结合文本、以及图像结合文本与DEM三种输入设置下的模型性能。评估协议涵盖像素级、边界级和对象级多层次指标，包括召回率、F1分数、整体精度、mIoU、mAcc以及ODS、OIS、GOC、GUC、GTC等，从而全面衡量模型在区域分割、边界恢复和结构一致性方面的表现。该数据集支持从通用语义分割、语言引导分割到多模态地块建模等多种技术范式的比较，为探索多模态遥感在复杂农业地形中的应用提供了标准化实验基础。

背景与挑战

背景概述

在遥感农业监测领域，农业地块提取是支撑地块调查、精准管理与生态评估的基础任务。现有公开基准数据集主要针对平坦规整的农田场景，而广泛分布于全球山地丘陵区的梯田地块，因其阶梯状地形、显著高程变化、不规则边界及强烈的区域异质性，成为更具挑战性的解析问题。为填补这一空白，中山大学、清华大学深圳国际研究生院等机构的研究团队于2026年提出了GTPBD-MM数据集，这是首个面向全球复杂梯田地块提取的多模态基准。该数据集在已有GTPBD基础上，整合了高分辨率光学影像、结构化文本描述与数字高程模型数据，旨在通过联合建模外观、语义与地形几何信息，推动梯田场景理解研究的发展。

当前挑战

GTPBD-MM致力于解决复杂梯田地块提取这一领域核心问题，其面临的主要挑战包括语义混淆与边界模糊。语义混淆源于梯田与房屋、道路、裸地等非目标物体在视觉上的相似性，导致目标判别困难；边界模糊则因相邻梯田单元外观相近，而其真实边界由高程突变与阶梯状地形结构决定，易引发提取不全、边界模糊及错误合并。在数据集构建过程中，挑战体现在多模态数据的严格对齐、全球多样化梯田场景的采集与标注，以及如何设计任务导向的文本描述以提供超越通用描述的互补语义信息。

常用场景

经典使用场景

在农业遥感监测领域，梯田地块因其阶梯状地形、显著高程变化和不规则边界而成为极具挑战性的解析对象。GTPBD-MM数据集通过整合高分辨率光学影像、结构化文本描述和数字高程模型数据，为复杂梯田场景下的地块提取提供了首个多模态基准。该数据集支持在纯图像、图像加文本以及图像加文本加DEM三种设置下的系统评估，使得研究人员能够深入探究视觉外观、语义先验与地形几何之间的互补关系，从而推动梯田地块自动勾绘技术向更精准、连贯和结构一致的方向发展。

衍生相关工作

围绕GTPBD-MM数据集，已衍生出一系列重要的相关研究工作。数据集本身基于GTPBD扩展而来，并提出了一个多模态基线模型ETTerra，该模型通过文本引导的语义增强分支和DEM引导的边界强化分支，协同解决梯田提取的挑战。在更广泛的学术脉络中，该数据集推动了从纯视觉分割方法（如U-Net、DeepLabV3）、语言引导分割方法（如LISA、PixelLM）到多模态农田理解方法（如FSVLM）在复杂梯田场景下的性能评估与比较。这些工作共同深化了对多模态信息在遥感地物解析中互补机制的理解，为后续研究设立了新的基准方向。

数据集最近研究

最新研究方向

在农业遥感监测领域，梯田地块因其阶梯状地形、显著高程变化和不规则边界，构成了比平坦农田更为复杂的解析难题。GTPBD-MM数据集的推出，标志着该领域前沿研究正从单一视觉模态向多模态协同理解深度演进。当前研究热点聚焦于图像、文本与数字高程模型（DEM）的跨模态对齐与融合，旨在通过文本语义先验缓解复杂场景中的语义混淆，并利用DEM地形几何先验解决边界模糊性。这一方向不仅推动了遥感影像解译从外观感知向语义与几何协同理解的范式转变，也为全球复杂梯田区域的精准测绘、生态评估与可持续管理提供了关键的数据基准与技术支撑。

相关研究论文

• GTPBD-MM: A Global Terraced Parcel and Boundary Dataset with Multi-Modality

  中山大学; 清华大学深圳国际研究生院; 中国农业大学; 西南交通大学; 东北大学; 深圳国家超级计算中心 · 2026年