HOPS (hierarchical orchard panoptic segmentation)

HOPS数据集是由德国波恩大学机器人中心创建的，包含真实苹果园中不同传感器（如地面激光扫描仪、无人机上的RGB-D相机等）收集的点云数据。该数据集特别为分层全景分割任务设计，记录了两年内不同生长阶段的苹果园数据，并提供了高质量的注释，包括语义分割、树木实例分割、果实和树干实例分割。HOPS数据集旨在支持精准农业中的作物产量估算，通过使机器人能够理解周围环境来识别目标对象。

The HOPS dataset was created by the Robotics Center of the University of Bonn, Germany. It contains point cloud data collected by various sensors in real apple orchards, such as terrestrial laser scanners and RGB-D cameras mounted on unmanned aerial vehicles (UAVs). Specifically designed for the hierarchical panoptic segmentation task, this dataset records orchard data across different growth stages over a two-year period, and provides high-quality annotations including semantic segmentation, tree instance segmentation, as well as instance segmentation of fruits and tree trunks. The HOPS dataset aims to support crop yield estimation in precision agriculture, enabling robots to understand their surrounding environment and identify target objects.

搜集汇总

数据集介绍

构建方式

HOPS数据集的构建基于真实苹果园环境中的多传感器数据采集。数据集通过地面激光扫描仪（TLS）获取训练和验证集，测试集则包含来自不同传感器（如无人机搭载的PhaseOne iXM-100相机和移动机器人搭载的RealSense d435i相机）的数据。数据采集跨越两年，涵盖了不同生长阶段的苹果树，并通过手动标注工具segments.ai对点云数据进行语义分割、树实例分割以及果实和树干实例分割的标注。每个标注过程经过多阶段验证，确保标注质量。

特点

HOPS数据集的特点在于其多层次的实例分割标注，能够同时提供语义分割、树实例分割（将树干及其果实视为一个实例）以及标准实例分割（单独标注每个树干和果实）。这种层次化的标注方式使得数据集能够捕捉植物、果实和树干之间的关系，例如精确估计每棵树的果实数量。此外，数据集涵盖了多种传感器数据，包括TLS、RGB-D相机和RGB相机，提供了丰富的3D点云数据，适用于农业领域的感知任务。

使用方法

HOPS数据集的使用方法主要围绕3D点云的层次化全景分割任务展开。用户可以通过加载数据集中的点云数据，结合提供的语义和实例分割标签，训练和评估层次化全景分割模型。数据集特别适用于研究多传感器数据融合、实例分割的层次化关系以及农业环境中的感知任务。用户可以利用公开的代码实现和竞赛平台，进一步验证和改进模型在真实农业环境中的表现。

背景与挑战

背景概述

HOPS（Hierarchical Orchard Panoptic Segmentation）数据集由波恩大学机器人中心的研究团队于2025年发布，旨在解决农业领域中的三维全景分割问题。该数据集专注于苹果园环境，通过多种传感器（如地面激光扫描仪、RGB-D相机等）采集数据，提供了高质量的语义分割、树干实例分割和果实实例分割标注。HOPS的创建是为了支持农业机器人自动化任务，如果实采摘和产量估计，通过精确的三维感知能力，帮助农民优化收获时间和资源管理。该数据集不仅填补了农业领域三维数据集的空白，还为相关研究提供了重要的基准。

当前挑战

HOPS数据集面临的挑战主要集中在两个方面。首先，在领域问题方面，苹果园环境复杂，果实的密集分布和树干与果实的层次关系增加了分割任务的难度。传统的二维图像分割方法难以应对三维点云数据的稀疏性和噪声，而HOPS数据集要求同时进行语义分割和多层次实例分割，这进一步提升了算法的复杂性。其次，在数据构建过程中，点云的标注工作极为耗时且复杂，标注者需要频繁调整视角以确保标注的准确性，平均每个数据块的标注时间长达4小时。此外，数据集中的训练集和测试集采用了不同的传感器，导致域偏移问题，这对模型的泛化能力提出了更高的要求。

常用场景

经典使用场景

HOPS数据集在农业机器人领域中被广泛应用于苹果园的3D全景分割任务。通过结合多种传感器（如地面激光扫描仪、RGB-D相机等），该数据集能够提供高精度的点云数据，支持语义分割、树干实例分割和果实实例分割等多层次任务。这一数据集的使用场景主要集中在果园环境的自动化监测与干预，尤其是在苹果树的果实数量估计和生长状态分析中表现出色。

衍生相关工作

HOPS数据集的发布推动了农业机器人领域的多项经典工作。基于该数据集，研究者们开发了多种层次化全景分割算法，如MaskPLS和ForestPS，这些算法在3D点云分割任务中表现出色。此外，HOPS还激发了更多关于多传感器数据融合的研究，推动了农业机器人感知技术的进一步发展。

数据集最近研究

最新研究方向

近年来，HOPS数据集在农业机器人感知领域的研究方向主要集中在三维点云的层次化全景分割技术上。该数据集通过结合多种传感器（如地面激光扫描仪、RGB-D相机等）采集的苹果园三维数据，为研究人员提供了丰富的多模态信息。当前的研究热点包括如何利用卷积神经网络（CNN）进行语义分割、树干和果实的实例分割，以及植物层次的实例分割，从而实现对果园环境的精确感知。此外，研究者们还致力于通过创新的跳跃连接机制，充分利用不同分割任务之间的层次关系，提升分割性能。这一技术不仅能够帮助农民精确估算作物产量，还为自动化采摘和精准干预提供了重要支持。HOPS数据集的公开为农业机器人感知领域的研究提供了宝贵的资源，推动了该领域的技术进步。

相关研究论文

• 3D Hierarchical Panoptic Segmentation in Real Orchard Environments Across Different Sensors

  德国波恩大学机器人中心 · 2025年