PLANesT-3D

PLANesT-3D数据集由埃斯基谢希尔奥斯曼加齐大学等机构创建，包含34个真实植物的3D彩色点云，涉及三种植物种类。数据集大小适中，每个点云模型都经过手动标注，包括语义标签（叶和茎）和实例标签。数据集的创建过程包括使用手持DSLR相机采集2D彩色图像，通过结构从运动（SfM）和多视图立体（MVS）技术重建3D点云。PLANesT-3D数据集主要应用于植物模型的3D语义分割，旨在提高自动化园艺操作的准确性和效率，如修剪、除草和收获等。

The PLANesT-3D dataset was developed by Eskisehir Osmangazi University and other institutions. It contains 3D color point clouds of 34 real plant specimens, covering three plant species. The dataset has a moderate scale, and each point cloud model is manually annotated with semantic labels (leaf and stem categories) and instance labels. The dataset construction workflow includes collecting 2D color images using a handheld DSLR camera, followed by 3D point cloud reconstruction via Structure from Motion (SfM) and Multi-View Stereo (MVS) techniques. The PLANesT-3D dataset is primarily used for 3D semantic segmentation of plant models, with the objective of improving the accuracy and efficiency of automated horticultural operations such as pruning, weeding, harvesting, and other related tasks.

搜集汇总

数据集介绍

构建方式

PLANesT-3D 数据集的构建过程涉及从不同植物物种中获取二维彩色图像，并通过结构从运动（SfM）和多视图立体视觉（MVS）技术将这些图像重建为三维彩色点云模型。该数据集由 34 个点云模型组成，代表了来自三种不同植物物种的真实植物：Capsicum annuum（辣椒）、Rosa kordana（玫瑰）和 Ribes rubrum（茶藨子）。点云模型的每个点都通过手动标注了语义标签（“叶”和“茎”）和器官实例标签。此外，该数据集还引入了一种新的语义分割方法 SP-LSCnet，该方法结合了无监督的超点提取和基于三维点的深度学习方法，并在新数据集上进行了评估。

特点

PLANesT-3D 数据集的特点在于其多样性，包括不同的植物物种、采集模态、噪声水平、植物实例和器官几何形状等。该数据集的采集模态多样，包括结构从运动（SfM）和多视图立体视觉（MVS），与激光扫描相比，这些方法不需要昂贵的设备或复杂的采集设置，同时可以提供几何和纹理信息。此外，该数据集还包含了之前未公开的两种植物的点云模型（辣椒和茶藨子）。

使用方法

使用 PLANesT-3D 数据集的方法包括：1）数据预处理，包括去除背景结构和噪声，以及从场景中分割植物点；2）语义分割，将点云模型分割为“叶”和“茎”等语义单元；3）使用深度学习模型，如 PointNet++ 和 RoseSegNet，对点云进行语义分割。此外，该数据集还可以用于评估和训练新的分割方法，例如 SP-LSCnet。

背景与挑战

背景概述

在三维计算机视觉和机器学习领域，创建新的标注数据集对于自动解释三维植物模型具有重要意义。本文介绍了PLANesT-3D，一个包含三维彩色点云植物的新标注数据集。PLANesT-3D由34个点云模型组成，代表三种不同植物物种的34株真实植物：Capsicum annuum（辣椒）、Rosa kordana（玫瑰）和Ribes rubrum（醋栗）。除了在语义上标注“叶子”和“茎”之外，还对整个点云进行了器官实例标注。作为额外贡献，本文还介绍了一种名为SP-LSCnet的新型语义分割方法，该方法结合了无监督超点提取和基于三维点的深度学习方法，并在新数据集上进行了评估。此外，还测试了两种现有的深度神经网络架构PointNet++和RoseSegNet在PLANesT-3D的点云上进行语义分割。

当前挑战

PLANesT-3D数据集面临的挑战包括：1) 所解决的领域问题：三维植物模型的自动分割；2) 构建过程中所遇到的挑战：数据采集、重建和预处理过程中的技术挑战，以及标注过程中的劳动强度。

常用场景

经典使用场景

PLANesT-3D数据集最经典的使用场景在于对三维植物点云进行语义分割。该数据集包含34个三维植物点云模型，涵盖了辣椒、玫瑰和醋栗三种不同的植物物种。每个模型都包含了植物的叶子和茎的语义标签，以及器官实例标签。这使得该数据集成为研究植物三维建模和语义分割的重要资源。

实际应用

PLANesT-3D数据集在实际应用中具有广泛的前景。例如，在农业自动化领域，机器人系统需要正确识别植物部分，并准确估计三维空间中结构的位置、大小、形状和方向。PLANesT-3D数据集可以帮助开发用于植物结构分割和器官级特征估计的算法，从而实现自动化修剪、除草和收获等操作。

衍生相关工作

PLANesT-3D数据集衍生了许多相关的经典工作。例如，SP-LSCnet是一种新的语义分割方法，它结合了无监督超点提取和基于三维点的深度学习方法。此外，PointNet++和RoseSegNet两种现有的深度神经网络架构也在PLANesT-3D数据集上进行了测试和评估。这些工作为进一步研究植物三维建模和语义分割提供了重要的参考和启示。