TreeCrown-MM

TreeCrown-MM 是一个多模态遥感数据集，专为联合树冠分割与描述任务设计。该数据集包含 32,787 个图块（1024×1024 像素），涵盖约 33 万个标注树冠和 285 个树种，覆盖全球多个地区的五种生态系统类型（北方森林、热带、亚热带、温带、城市混合林）。每个图块提供四种对齐模态：RGB 图像、高度图（LiDAR 冠层高度模型或伪深度图）、分割掩码和自然语言描述。数据集划分为训练集（26,787）、验证集（1,500）、测试集（1,500）和基准集（3,000）。数据按生态系统类型分卷存储，总容量约 126GB，解压后包含 images/、height/、masks/ 和 annotations/ 四个子目录。适用于图像分割、图像描述生成等多模态任务，特别适合森林生态学和遥感应用研究。TreeCrown-MM is a multimodal remote sensing dataset specifically designed for the joint task of tree crown segmentation and description. This dataset contains 32,787 1024×1024 pixel image tiles, covering approximately 330,000 annotated tree crowns and 285 tree species, spanning five ecosystem types across multiple global regions: boreal forest, tropical, subtropical, temperate, and urban mixed forests. Each tile provides four aligned modalities: RGB images, height maps (LiDAR-derived canopy height models or pseudo-depth maps), segmentation masks, and natural language descriptions. The dataset is split into a training set (26,787 samples), a validation set (1,500 samples), a test set (1,500 samples), and a benchmark set (3,000 samples). The data is stored in volumes categorized by ecosystem type, with a total capacity of approximately 126 GB. After decompression, it includes four subdirectories: images/, height/, masks/, and annotations/. It is applicable to multimodal tasks such as image segmentation and image caption generation, and is particularly suitable for research in forest ecology and remote sensing applications.

原始信息汇总

TreeCrown-MM 数据集概述

基本信息

• 数据集名称：TreeCrown-MM
• 许可证：CC BY-NC 4.0
• 主要任务类别：图像分割、图像到文本
• 语言：英语
• 数据规模：10K < n < 100K

数据集内容

• 数据总量：包含 32,787 个图块（尺寸为 1024×1024 像素）。
• 标注信息：包含约 330,000 个已标注的树冠，涵盖 285 个物种。
• 生态系统覆盖：跨越五种生态系统类型（北方森林、热带、亚热带、温带、城市-混合），覆盖全球多个地区。
• 模态：每个图块提供四种对齐的模态数据：
  1. RGB 图像
  2. 高度图（LiDAR CHM 或伪深度）
  3. 分割掩码
  4. 自然语言描述

数据划分

数据集被划分为以下部分：

• 训练集：26,787 个样本
• 验证集：1,500 个样本
• 测试集：1,500 个样本
• 基准集：3,000 个样本 划分信息存储在 split.json 文件中，图块级元数据存储在 metadata.csv 文件中。

数据文件

数据按生态系统类型打包为以下压缩文件：

• Boreal.tar.gz：46 GB
• Tropical.tar.gz：20 GB
• Subtropical.tar.gz：21 GB
• Temperate.tar.gz：27 GB
• Urban-Mixed.tar.gz：12 GB

每个压缩文件解压后包含四个子目录：images/、height/、masks/ 和 annotations/。

引用信息

如需引用，请使用以下 BibTeX 条目： bibtex @inproceedings{tang2026treecrown, title={TreeCrown-MM: A Multimodal Remote Sensing Dataset for Joint Tree Crown Segmentation and Caption}, author={Tang, Mengjiao and Li, Yue and Xu, Sheng and Shen, Yu and Ye, Qiaolin}, booktitle={Proceedings of the ACM International Conference on Multimedia}, year={2026} }

其他信息

• 标签：遥感、树冠、分割、描述、多模态、森林、生态学、LiDAR
• 联系人：[e-mail]
• GitHub 仓库：https://github.com/huafei18/TreeCrownMM

搜集汇总

数据集介绍

构建方式

在遥感生态学领域，TreeCrown-MM数据集的构建体现了多源数据融合的前沿理念。该数据集通过整合全球范围内五种生态系统类型（包括寒带、热带、亚热带、温带及城市混合林）的高分辨率遥感影像，结合机载激光雷达（LiDAR）数据生成的高度图，形成了32,787个尺寸为1024×1024像素的图块。每个图块均经过精细标注，包含约33万个树冠轮廓的语义分割掩码，并辅以涵盖285个树种的文本描述，从而实现了图像、高度信息、分割标签与自然语言描述四种模态的严格对齐。

特点

TreeCrown-MM的显著特点在于其多模态与大规模并重的设计。数据集不仅提供了RGB图像与LiDAR衍生的高度图，还包含了像素级的树冠分割掩码以及描述树种与生态属性的自然语言标题，这种结构为联合学习视觉分割与语言生成任务创造了条件。其数据覆盖了从寒带到热带的多样生态系统，地理代表性强，且标注了超过28万棵树冠，物种多样性高达285种，为模型在复杂真实场景中的泛化能力评估提供了坚实基础。

使用方法

为便于研究使用，数据集已按训练、验证、测试及基准评估划分为四个子集，具体划分信息存储于`split.json`文件中。用户下载按生态系统打包的压缩文件后，可解压获得`images`、`height`、`masks`和`annotations`四个子目录，分别对应四种模态数据。研究者可依据任务需求，利用该数据集开发多模态融合模型，例如进行树冠自动分割、基于遥感图像的树种描述生成，或探索视觉与语言表征的联合学习，相关元数据可通过`metadata.csv`文件获取以支持深入分析。

背景与挑战

背景概述

随着遥感技术的飞速发展，高分辨率卫星与激光雷达（LiDAR）数据为森林生态监测提供了前所未有的精细视角。然而，传统单模态遥感数据集在树冠识别与生态属性描述方面存在局限，难以支持跨生态系统的综合分析。TreeCrown-MM数据集应运而生，由南京林业大学等机构的研究团队于2026年构建，旨在通过融合多模态遥感数据，解决全球尺度下树冠分割与自然语言描述联合建模的核心科学问题。该数据集涵盖寒带至热带等五大生态系统，整合了RGB影像、高度图、分割掩码及文本描述，为森林生态学、遥感智能解译及多模态学习领域提供了关键基准资源，推动了生态参量自动化提取与跨模态语义理解的研究进展。

当前挑战

在树冠识别与生态描述领域，传统方法往往受限于单一数据源，难以应对复杂场景中物种多样性与冠层结构的高度变异。TreeCrown-MM数据集所应对的核心挑战在于实现多模态数据对齐下的精准树冠分割，并生成涵盖物种、形态及生态功能的自然语言描述，这要求模型同时具备视觉特征解析与语义关联推理能力。在构建过程中，研究团队面临全球多生态系统数据采集的时空异质性挑战，包括不同区域遥感数据分辨率与格式的统一、激光雷达衍生高度图的生成一致性，以及跨地域树种标注所需的大规模生态学专家知识集成，这些因素共同增加了数据标准化与注释可靠性的实现难度。

常用场景

经典使用场景

在遥感与生态学交叉领域，TreeCrown-MM数据集为树冠分割与描述任务提供了经典的多模态基准。该数据集整合了RGB图像、高度图、分割掩码及自然语言描述，支持从像素级分割到语义理解的端到端分析。研究者常利用其丰富的标注信息，训练深度学习模型以精确识别不同生态系统中的树冠边界，并生成描述树种与形态的文本，推动了计算机视觉与生态监测的深度融合。

实际应用

TreeCrown-MM的实际应用广泛覆盖林业管理与环境保护领域。在森林资源调查中，该数据集支持自动化树冠检测与树种分类，提升监测效率与精度。城市绿化规划则可借助其分析树冠分布与健康状况，优化植被布局。此外，在气候变化研究中，数据有助于评估森林碳储量变化，为生态政策制定与灾害预警提供科学依据，实现从数据到决策的有效转化。

衍生相关工作

基于TreeCrown-MM，学术界衍生了一系列经典研究工作。例如，多模态融合网络被设计用于联合分割与描述任务，提升模型在异质环境中的鲁棒性。迁移学习框架利用该数据预训练模型，并适配到特定区域的树冠分析中。此外，生成式模型探索从高度图合成逼真树冠图像，辅助数据增强与仿真应用，推动了遥感人工智能技术的创新与发展。