WHU-STree

WHU-STree是一个跨城市、丰富注释和多模态的城市街道树木数据集。它集成了两个不同城市的同步点云和高分辨率图像，涵盖了21,007个注释的树木实例，跨越50个物种和2个形态参数。WHU-STree数据集支持超过10个与街道树木清查相关的任务，如树木物种分类和单个树木分割。此外，该数据集提供了点云和图像数据，允许两种模态之间的互补优势，从而促进对多模态数据之间关系的研究。跨城市数据使算法鲁棒性的评估和具有强大泛化能力的方法的开发成为可能。WHU-STree is a cross-city, richly annotated, multimodal urban street tree dataset. It integrates synchronized point clouds and high-resolution images from two distinct cities, encompassing 21,007 annotated tree instances across 50 species and 2 morphological parameters. The WHU-STree dataset supports more than 10 tasks associated with street tree inventory, including tree species classification and individual tree segmentation. Additionally, the dataset provides both point cloud and image data, enabling the utilization of complementary strengths between the two modalities, thus promoting research into the interrelationships among multimodal data. The cross-city data enables the evaluation of algorithm robustness and the development of methods with strong generalization capabilities.

搜集汇总

数据集介绍

构建方式

在城市林业研究领域，WHU-STree数据集通过移动测绘系统在南京与沈阳两大气候带城市进行多模态数据采集。该系统集成激光扫描仪与全景相机，同步获取高密度点云与高清图像，覆盖总计66公里道路范围。数据预处理采用体素降采样与自适应道路分区策略，通过专业标注团队对21,007棵树木实例进行边界勾勒，并融合点云几何特征与图像纹理信息完成50个树种的识别。形态参数计算结合机器学习分类器与椭圆拟合技术，实现树高与胸径的自动化测量。

特点

该数据集具备跨城市覆盖、多模态融合与丰富标注三大核心特征。地理跨度涵盖南北不同气候带的城市环境，有效验证算法在异质场景下的泛化能力。多模态数据包含同步采集的点云与全景图像，其中点云提供精确三维结构信息，图像则补充光谱纹理特征，二者通过标定参数实现像素级对齐。标注体系涵盖实例级分割掩码、树种分类标签及形态参数，支持树种分类、单木分割等十余项任务，其21,007棵树木的规模与50个树种的多样性显著超越现有同类数据集。

使用方法

研究者可通过数据集中提供的两种划分策略开展实验：类平衡划分保持训练测试集物种分布一致性，适用于基础模型评估；跨城市划分则以南京数据训练、沈阳数据测试，专门检验算法跨域泛化性能。基准实验已建立多模态融合框架，支持点云与图像的联合特征提取。数据集进一步支持多任务协同学习，可同步进行实例分割与物种分类，并通过空间分布模式先验知识提升模型鲁棒性。未来可扩展至多模态大语言模型研究，实现从感知到决策的闭环管理。

背景与挑战

背景概述

WHU-STree数据集由武汉大学联合多所国际研究机构于2020-2021年间共同创建，旨在解决城市街景树木自动化普查的核心研究问题。该数据集突破传统野外调查的局限性，通过移动测绘系统同步采集点云与全景图像数据，涵盖南京与沈阳两座城市共21,007株树木实例，标注50个树种及2类形态参数。其跨地域、多模态的特性为深度学习算法在智慧城市生态管理领域的应用提供了重要支撑，显著推动了街景树木三维形态分析与物种识别的技术发展。

当前挑战

在领域问题层面，该数据集需应对街景树木物种细粒度分类的挑战，特别是形态相似树种的区分难题，以及复杂城市环境中树木实例分割的精度问题。构建过程中面临多源数据时空配准偏差、全景图像与点云数据融合时的投影误差，以及跨城市树木形态差异导致的标注一致性维护等关键技术挑战。这些因素共同制约着多模态联合学习与跨域泛化能力的提升。

常用场景

经典使用场景

在城市林业与遥感研究领域，WHU-STree数据集为街道树木自动化普查提供了多模态基准平台。该数据集通过融合移动测量系统采集的同步点云与高分辨率全景图像，支持树木物种分类、单木分割及形态参数估计等核心任务。其跨城市覆盖特性使算法能够在南京与沈阳的异质城市环境中验证泛化能力，为深度学习模型在复杂街景中的鲁棒性评估奠定基础。

解决学术问题

该数据集有效解决了传统树木普查方法存在的三大局限：单一模态数据难以兼顾几何结构与纹理特征、小规模场景限制算法泛化验证、稀疏标注阻碍多任务协同研究。通过提供50个树种标签与2类形态参数标注，WHU-STree支撑了多模态融合、跨域适应等前沿方向的研究，显著提升了城市树木三维建模与生态服务功能量化分析的精度。

衍生相关工作

基于WHU-STree的独特架构，研究者已开发出多项创新工作。例如将PointTransformer与ResNet结合的多模态分类框架TSCMDL，实现了点云与图像的深层特征融合；SPFormer等端到端实例分割模型通过超点表征提升了复杂场景下的树木分离精度；跨城市基准测试则催生了针对点云-图像时空对齐的域自适应方法，推动了移动测量技术在城乡生态监测中的规模化应用。