NEST3D

NEST3D是由明斯特大学等机构联合创建的高分辨率多模态数据集，专注于社会性织巢鸟巢的三维结构。该数据集包含104个巢树场景，总计约27,945张RGB图像、111,780张多光谱图像以及约7.81亿个三维点云，数据量达1.4TB，并附有专家标注的语义分割标签。数据集通过无人机采集RGB与多光谱影像，并利用摄影测量技术重建为三维点云，经人工精细标注为树、巢、草地三类。该数据集旨在推动三维重建、分割与分类算法的发展，应用于生态学领域，如自动巢穴体积估算与物种保护，为解决复杂植被环境中目标识别与极端类别不平衡问题提供基准。NEST3D is a high-resolution multimodal dataset jointly created by the University of Münster and other institutions, focusing on the 3D structures of social weaver bird nests. This dataset encompasses 104 nest tree scenes, including approximately 27,945 RGB images, 111,780 multispectral images, and around 781 million 3D point clouds, with a total data volume of 1.4 TB, and is accompanied by expert-annotated semantic segmentation labels. The dataset collects RGB and multispectral imagery via unmanned aerial vehicles (UAVs), reconstructs them into 3D point clouds using photogrammetric techniques, and then undergoes meticulous manual annotation into three categories: tree, nest, and grassland. This dataset aims to promote the development of 3D reconstruction, segmentation and classification algorithms, with applications in the field of ecology such as automatic nest volume estimation and species conservation, providing a benchmark for solving target recognition and extreme class imbalance issues in complex vegetated environments.

原始信息汇总

数据集概述：NEST3D

基本信息

• 数据集名称：NEST3D: A High-Resolution Multimodal Dataset of Sociable Weaver Tree Nests
• DOI：https://doi.org/10.57967/hf/8978
• 语言：英语
• 许可证：cc-by-4.0
• 大小：约 1.01 TB，100K - 1M 行数据
• 标签：semantic-segmentation, scene-understanding, 3d-point-clouds, multimodal, drone-imagery
• 格式：WebDataset
• 库：Datasets, WebDataset, Croissant

数据集描述

NEST3D 是一个多模态数据集，包含 104 个群织雀巢样本，结合了无人机拍摄的 RGB 和多光谱图像，以及带有语义标注的 3D RGB 点云。该数据集通过无人机遥感捕获了这些巢穴所在的树木，提供了丰富的空间和光谱信息，用于计算机视觉和生态监测应用中的场景级语义分割方法基准测试和推进。

关键特征

• 模态：多模态（RGB 图像、多光谱波段、3D 点云）
• 任务：场景级语义分割
• 规模：多个树巢场景，具有一致的空间和光谱覆盖
• 标注：3D 点云的逐点语义标签
• 数据来源：无人机 RGB 和多光谱图像
• 应用领域：生态监测、野生动物管理、3D 语义分割、3D 重建

数据集组织

数据集按模态划分为特定目录，支持灵活访问和重用。

目录结构

NEST3D/ ├── train/ │ ├── sample_001/ │ │ ├── RGB/ # RGB 无人机图像 │ │ ├── MS/ # 多光谱图像 │ │ │ ├── Green/ │ │ │ ├── Red/ │ │ │ ├── Red_Edge/ │ │ │ └── NIR/ │ │ └── sample001.npy # 带标签的 3D 点云 │ └── sample_002/ └── test/ └── ...

数据模态

1. RGB 图像

• 来源：无人机航拍原始图像
• 格式：JPEG
• 按数据划分和场景 ID 组织
• 示例路径：train/sample_001/RGB/sample001_RGB_119.JPG

2. 多光谱图像

• 包含与 RGB 相同的采集源中的四个光谱波段
• 按四个波段文件夹组织：
  • Green (G)：绿色通道图像
  • Red (R)：红色通道图像
  • Red Edge (RE)：红边通道，用于植被分析
  • NIR：近红外通道，用于植被健康评估
• 格式：GeoTIFF (.TIF)
• 示例路径：
  • train/sample_001/MS/Green/sample001_G_119.TIF
  • train/sample_001/MS/Red/sample001_R_119.TIF
  • train/sample_001/MS/Red_Edge/sample001_RE_119.TIF
  • train/sample_001/MS/NIR/sample001_NIR_119.TIF

3. 3D 点云

• 每个场景一个 NumPy 文件，包含完整的 3D 重建
• 格式：.npy（NumPy 二进制格式）
• 每个点的属性：[x, y, z, r, g, b, label]
  • x, y, z：3D 空间坐标（米）
  • r, g, b：RGB 颜色值（0-255）
  • label：语义类别标签（整数）
• 示例路径：train/sample_001/sample001.npy

数据划分

• 训练集：用于模型训练和开发
• 测试集：用于模型评估和基准测试
• 总场景数：104 个样本，训练/测试划分比例为 83/21

数据集信息

• 总场景数：104 个样本（83 个训练，21 个测试）
• 模态：RGB、多光谱（4 个波段）、3D 点云
• 图像格式：JPEG（RGB）、GeoTIFF（多光谱）
• 点云格式：NumPy 数组
• 标注类型：逐点语义标签

引用

使用 NEST3D 时，请引用以下内容：

@misc{nest3d_dataset, author = {Molina Catricheo, Constanza A. and May, Giacomo and Guo, Ting-Jia and Reinhard, Friedrich F. and Risse, Benjamin}, title = {{NEST3D}: A High-Resolution Multimodal Dataset of Sociable Weaver Tree Nests}, year = {2026}, publisher = {Hugging Face}, doi = {10.57967/hf/8978}, url = {https://huggingface.co/datasets/NEST3D/dataset}, note = {Version 1.0} }

搜集汇总

数据集介绍

构建方式

NEST3D数据集构建于纳米比亚Kuzikus野生动物保护区的半干旱稀树草原，依托DJI Mavic 3 Multispectral无人机平台，对104棵携带织布鸟巢的树木进行环绕式影像采集，同步获取27,945张RGB图像与111,780张多光谱影像（绿、红、红边、近红外四波段）。借助Agisoft Metashape软件对RGB影像执行摄影测量处理，通过迭代定向与深度图稠密重建生成每棵树的3D点云，并利用无人机GPS坐标将模型缩放至公制单位。随后，专家在CloudCompare中对稠密点云逐点标注为‘树’、‘巢’与‘草地’三个语义类别，最终形成包含约7.81亿个三维点的高分辨率多模态数据集。

特点

该数据集的核心特点在于其精细的3D结构信息与光谱信息的深度融合。作为首个公开的群居织布鸟巢高分辨率多模态资源，它通过RGB与多光谱影像的协同采集，突破了传统研究中巢结构数据缺乏三维细节的局限。数据集内含极端类别不平衡特征——巢类点占比不足5%，这为算法在少数类上的鲁棒性提出了严苛挑战。此外，每棵树的点云均保留原始坐标、颜色与语义标签，支持精确的几何与光谱联合分析；而多光谱波段的存在则为植被指数计算与巢树健康评估提供了独特数据源。

使用方法

数据集使用以3D语义分割为核心，支持研究者直接加载NumPy格式的点云文件（包含[x,y,z,r,g,b,label]属性）进行模型训练与评测。官方提供了基于PT-v3、RandLA-Net与KPConv三种架构的基准测试结果，可作为性能参照。用户可采用标准的80/20训练测试划分方案，并利用RGB与XYZ特征输入进行点云分割任务。此外，多光谱影像预留为扩展接口，便于探索光谱信息对分割精度的影响。在生态学层面，该数据集还可服务于巢体积自动估算、巢树空间关系分析以及植被健康评估等跨学科应用，为计算机视觉与保护生物学的交叉研究提供了理想实验平台。

背景与挑战

背景概述

群居织巢鸟（Philetairus socius）构建的巨型公共巢穴是已知最大的鸟类建筑之一，其复杂结构可容纳逾五百只个体并为多种生物提供热调节微生境，然而现有研究受限于粗粒度的野外测量与二维遥感数据，三维结构细节的缺失阻碍了生态机制与计算分析的深度融合。NEST3D数据集由明斯特大学、洛桑联邦理工学院及马普动物行为研究所等机构于2025年联合创建，聚焦于纳米比亚库兹库斯保护区内的104棵巢树，通过无人机搭载的RGB与多光谱相机采集了27,945张影像及约7.81亿个三维点云，并辅以专家标注的语义分割标签。该资源突破了传统数据集对动物构筑物与植被不加区分的局限，首次以高分辨率多模态形式呈现了巢穴与树冠间的复杂几何关联，为生态学中的巢穴体积估算、物种保护以及计算机视觉领域的点云分割与三维重建研究提供了前所未有的基准与推动。

当前挑战

该数据集所面临的挑战根植于群居织巢鸟巢穴固有的生态复杂性与遥感数据处理的学科前沿难题。在领域问题层面，核心任务——三维点云语义分割——需在极度类别不平衡（巢穴类点占比不足5%）的条件下，将光谱上与宿主树木难以区分的非刚性巢体从密集树冠中精确剥离，而卷积类方法（如KPConv）常因稀疏点云分布陷入全部分类为地面点的局部最优，Transformer架构虽表现优异却仍面临巢穴与树枝边界模糊的混淆困境。构建过程中，无人机在干旱稀树草原严苛环境下需绕飞每棵树木以同时采集可见光与多光谱影像，不规则巢穴几何与枝条遮挡导致运动模糊与视角缺失，而基于摄影测量的三维重建则必须应对自遮挡、细枝结构缺失及平面匮乏等固有障碍，最终还需在厘米级GPS误差约束下完成精确的风吹草动噪声过滤与百万级点云的手工语义标注，全流程对数据质量与人力投入提出了极高要求。

常用场景

经典使用场景

在生态遥感与计算机视觉交叉领域，NEST3D数据集为三维点云语义分割提供了极具挑战性的基准场景。该数据集包含104棵筑巢树木的高分辨率多模态数据，涵盖了RGB影像、四波段多光谱数据及约7.81亿个三维点云，并附有专家标注的grass、tree、nest三类语义标签。研究者可基于此数据集开展面向复杂自然环境的点云分割算法评估，尤其适用于测试模型在极端类别不平衡条件下的表现，例如巢体类仅占点云总量的不足5%。该数据集有效填补了既有植被数据集中缺乏动物构筑物精细语义标注的空白，为三维重建、点云分类与实例分割等任务提供了生态学特有的测试平台。

解决学术问题

NEST3D数据集解决了生态学与计算机视觉交叉领域中一个长期存在的学术难题，即缺乏能够精细表征动物构筑物三维结构的高分辨率多模态数据。既有研究多依赖田野测量或二维影像，无法捕捉巢体与宿主乔木之间复杂的几何关系与光谱差异。该数据集通过融合RGB与多光谱信息，并结合专业标注的三维点云，使得研究者能够量化分析巢体体积、枝干空间布局及植被健康状况。其基准评测揭示了现有主流模型（如KPConv、RandLA-Net、PT-v3）在应对严重类别不均衡时的架构依赖性问题，推动了针对稀疏、非均匀点云分布的鲁棒分割算法发展。该工作架起了野外生态与计算分析之间的桥梁，为动物行为学、生物多样性保护及栖息地评估提供了可量化的结构数据支撑。

衍生相关工作

NEST3D数据集的发布催生了多个方向的衍生研究工作。在算法层面，该数据集为跨数据集泛化能力测试提供了稀缺生态场景，研究者可训练于既有森林点云数据集（如OpenForest），并在该基准上测试模型对新类别（如巢体）的迁移性能。在模态融合方面，其多光谱与三维点云的配对数据激发了探索光谱-空间特征联合学习的网络架构，如基于注意力机制的多模态编码器设计。在生态学应用方向上，已有工作以该数据集为起点，发展巢体几何参数自动提取方法，并将之与微气候模型耦合，分析巢体结构对温度缓冲效能的影响。此外，该基准中暴露的类别不均衡问题也推动了重采样策略、类别平衡损失函数及难例挖掘技术在野外点云数据上的适配研究。