3D Shape Completion Dataset for Agricultural Vision Systems

本数据集由波恩大学机器人中心创建，专注于农业视觉系统的3D形状补全。数据集包含近7000帧RGB-D图像，涵盖超过100种不同水果，主要在实验室和商业温室环境中采集。通过高精度激光扫描仪获取的高精度、无遮挡点云作为地面真实数据。数据集的创建过程涉及复杂的测量和注册技术，旨在解决农业环境中水果采摘等自动化操作中的遮挡问题。该数据集的应用领域包括农业机器人技术、高吞吐量表型分析、产量估计和机器人采摘等。

This dataset was developed by the Robotics Center at the University of Bonn, focusing on 3D shape completion for agricultural vision systems. It contains nearly 7000 RGB-D image frames covering over 100 distinct fruit varieties, and was primarily collected in laboratory and commercial greenhouse environments. High-precision, occlusion-free point clouds obtained via high-precision laser scanners serve as the ground truth data. The dataset construction process involves sophisticated measurement and registration technologies, aiming to address occlusion issues in automated agricultural operations such as fruit harvesting. The applicable domains of this dataset include agricultural robotics, high-throughput phenotyping, yield estimation, robotic harvesting and other related fields.

原始信息汇总

数据集概述

描述

在这个挑战中，参与者需要根据甜椒的部分RGB-D观测数据提供完整的3D网格模型。数据集包含带有相应实例掩码和姿态的RGB-D帧，其中甜椒仅部分可见。参与者需要预测代表完整水果的3D网格。这是农业自主系统中各种下游任务（如收获和产量估计）的基本构建块。

数据集结构

数据集的结构如下：

• RGB-D帧：包含部分可见的甜椒的RGB-D图像。
• 实例掩码：每个甜椒的实例掩码。
• 姿态数据：每个RGB-D帧的姿态信息。

下载

整个数据集可以在此链接下载：https://www.ipb.uni-bonn.de/html/projects/shape_completion/shape_completion_challenge.zip

提交格式

提交的数据结构应如下所示：

• 每个甜椒的ID：对应于数据集中的每个甜椒。
• 预测的3D网格文件：每个甜椒的预测3D网格文件。

资源

提供了一个小API来访问数据：https://github.com/PRBonn/shape_completion_toolkit

引用

如果使用此数据集，请引用以下论文：

@inproceedings{magistri2024icra, author = {F. Magistri and R. Marcuzzi and E.A. Marks and M. Sodano and J. Behley and C. Stachniss}, title = {{Efficient and Accurate Transformer-Based 3D Shape Completion and Reconstruction of Fruits for Agricultural Robots}}, booktitle = icra, year = 2024, videourl = {https://youtu.be/U1xxnUGrVL4}, codeurl = {https://github.com/PRBonn/TCoRe}, }

@inproceedings{pan2023iros, author = {Y. Pan and F. Magistri and T. L"abe and E. Marks and C. Smitt and C.S. McCool and J. Behley and C. Stachniss}, title = {{Panoptic Mapping with Fruit Completion and Pose Estimation for Horticultural Robots}}, booktitle = iros, year = 2023, codeurl = {https://github.com/PRBonn/HortiMapping}, videourl = {https://youtu.be/fSyHBhskjqA} }

@article{magistri2022ral-iros, author = {Federico Magistri and Elias Marks and Sumanth Nagulavancha and Ignacio Vizzo and Thomas L{"a}be and Jens Behley and Michael Halstead and Chris McCool and Cyrill Stachniss}, title = {Contrastive 3D Shape Completion and Reconstruction for Agricultural Robots using RGB-D Frames}, journal = ral, url = {https://www.ipb.uni-bonn.de/wp-content/papercite-data/pdf/magistri2022ral-iros.pdf}, year = {2022}, }

搜集汇总

数据集介绍

构建方式

该数据集的构建旨在解决农业环境中因遮挡导致的果实三维形状估计问题。数据集包含了在实验室和商业温室条件下采集的甜椒的RGB-D帧，以及使用高精度手持激光扫描仪获得的相应的高精度点云。在实验室场景中，通过手动移动相机和手持激光扫描仪来从多个视角采集数据。而在温室场景中，由于无法在树上扫描果实，研究人员采用了在标记后的果实上采集RGB-D帧，并使用手持激光扫描仪获取地面真实形状的方法。为了将RGB-D数据与手持激光扫描仪获取的点云对齐，研究人员设计了特定的测量流程，包括使用环境结构进行姿态估计和迭代最近点（ICP）算法进行数据配准。

特点

该数据集的特点在于其提供了在农业环境中具有遮挡情况下的真实世界甜椒的完整三维形状数据，以及相应的无遮挡点云。数据集包含了近7000个RGB-D帧，涵盖了超过100个不同的果实，并提供了分割后的RGB-D帧和相机内参，方便用户获取彩色点云。此外，数据集还包含了高精度的、无遮挡的点云，以及一个公开的基准服务器上的隐藏测试集，用于评估形状补全方法。

使用方法

使用该数据集时，首先需要了解其组织结构，包括训练集、验证集和测试集的划分，以及每个集的图像数量和果实数量。用户可以通过CodaLab竞赛提交预测结果，并使用提供的开发工具包来加载数据和计算评价指标。数据集的使用方法还包括如何进行数据配准，将RGB-D帧与手持激光扫描仪获取的点云对齐，以便进行三维形状补全任务。

背景与挑战

背景概述

随着全球人口预计将在2050年达到100亿，我们的农业生产系统需要在农业劳动力减少的情况下将生产力翻倍。自主机器人系统是提高生产力的一条有希望的途径，通过接管像水果采摘这样的劳动密集型手动任务。为了有效，这样的系统需要精确地监控和与植物和水果互动，这在农业环境中具有挑战性，因为农业环境的杂乱性质导致了严重的遮挡。因此，能够在遮挡的情况下估计物体的完整3D形状对于自动化水果采摘等操作至关重要。在这篇论文中，我们提出了第一个公开可用的3D形状完成数据集，用于农业视觉系统。我们提供了一个RGB-D数据集，用于估计水果的3D形状。具体来说，我们的数据集包含在实验室条件下以及在商业温室中的单个甜椒的RGB-D帧。对于每个水果，我们还收集了高精度的点云，我们将其用作地面真实值。为了获取地面真实形状，我们开发了一个测量过程，允许我们在实验室和温室中以高精度记录真实甜椒植物的数据，并确定感测水果的形状。我们发布了我们的数据集，包括近7000个RGB-D帧，属于100多个不同的水果。我们提供了分割的RGB-D帧，以及相机内部参数，以便轻松获取彩色点云，以及使用高精度激光扫描仪获得的相应的高精度、无遮挡点云。我们还在基准服务器上通过公开挑战使形状完成方法的评估成为可能。

当前挑战

农业环境中视觉系统的开发中的关键问题是遮挡。正确处理遮挡可以为各种农业任务带来好处，例如高通量表型分析、产量估计和预测以及机器人采摘。在农业环境中处理遮挡的主要解决方案已被限制在2D图像中，要么是通过产生结合了作物的可见和遮挡部分的面具的无模式实例分割方法，要么是通过生成对抗网络估计作物的外观，好像没有遮挡一样。与2D情况相比，在3D场景中解决遮挡问题所做的努力较少。我们正在采取不同的途径来处理水果采摘中的遮挡问题，使用通常由RGB-D传感器提供的3D数据。特别是，机器人中的操作任务通常使用对象的3D模型来执行抓取预测，但通常为此目的使用已知对象的CAD模型，这在农业环境中无法预先确定，因为每个水果的形状都不同。因此，我们提出了一个数据集，以促进对预测真实世界水果的完整形状模型的研究，该模型可用于操作场景。通过这样做，我们正在解决揭示部分遮挡水果的完整3D形状的挑战性任务。实现这一点允许我们进行更可靠的水果抓取，并且可以用来推导水果的表型特征，例如大小、形状和质量。这篇论文的主要贡献是发布了第一个公开可用的3D形状完成数据集，该数据集包含RGB-D帧和对应的高精度、无遮挡点云，这些点云是使用高精度激光扫描仪获得的。预测任务的目标是从部分观察中估计完整的果实形状，如图1所示。在这篇论文中，我们还描述了生成商业温室中甜椒的地面真实形状模型的过程。我们特别设计了一个测量过程，允许我们获取甜椒的高精度和密集点云模型。总的来说，我们的贡献可以总结如下：(i)我们发布了第一个公共数据集1，用于农业环境中的3D形状完成，(ii)我们提供了一个CodaLab比赛，具有隐藏的测试集，以促进该领域的研究，(iii)我们提供了获取数据集的过程的描述，以促进其他研究人员的数据收集工作，(iv)我们发布了一个基于Python的开发工具包2，用于处理数据集和计算指标。

常用场景

经典使用场景

随着人口增长和农业劳动力减少，农业自动化系统成为提高农业生产力的重要途径。本数据集为农业视觉系统提供了首个公开的3D形状补全数据集，包含实验室和商业温室条件下甜椒的RGB-D帧，以及高精度点云作为地面真实数据。这些数据用于训练和评估3D形状补全算法，从而帮助自动化系统如机器人采摘在存在遮挡的情况下精确监测和互动。

实际应用

该数据集的实际应用场景包括农业自动化系统，如机器人采摘。通过使用该数据集训练的3D形状补全算法，机器人可以更准确地估计水果的完整形状，即使在存在遮挡的情况下也能进行安全抓取。这有助于提高采摘效率和减少采摘过程中的损害，从而提高农业生产力。此外，该数据集还可以用于开发其他农业自动化应用，如表型分析和疾病检测。

衍生相关工作

该数据集的发布促进了农业环境中3D形状补全算法的研究，并衍生出一系列相关工作。例如，研究人员可以利用该数据集开发新的3D形状补全算法，或将其与其他数据集结合以提高模型的泛化能力。此外，该数据集还可以用于开发其他农业自动化应用，如3D对象位姿估计和植物生长监控，从而推动农业自动化技术的发展。