JRDB-PanoTrack

JRDB-PanoTrack是由莫纳什大学创建的一个综合数据集，专注于在拥挤的人类环境中进行全景分割和跟踪。该数据集包含20,000张图像，覆盖室内外拥挤场景，提供高质量的2D空间全景分割和时间跟踪标注，包括428,000个全景掩码和27,000个跟踪标签。数据集的创建过程涉及多轮质量控制，确保标注的准确性。JRDB-PanoTrack适用于机器人导航和人类机器人交互等领域的研究，旨在解决复杂人类环境中机器人的环境理解问题。

JRDB-PanoTrack is a comprehensive dataset developed by Monash University, focusing on panoptic segmentation and tracking in crowded human environments. This dataset includes 20,000 images covering both indoor and outdoor crowded scenarios, and provides high-quality 2D spatial panoptic segmentation and temporal tracking annotations, comprising 428,000 panoptic masks and 27,000 tracking labels. The dataset creation process involves multiple rounds of quality control to ensure the accuracy of annotations. JRDB-PanoTrack is applicable to research in fields such as robot navigation and human-robot interaction, aiming to address the problem of robotic environmental understanding in complex human environments.

搜集汇总

数据集介绍

构建方式

JRDB-PanoTrack 数据集是在 JRDB 数据集的基础上构建的，通过移动机器人收集了室内和室外拥挤场景的 2D 和 3D 数据。数据集包括 20,000 张图像、4,000 张 360 度全景图像和 4,000 个点云，涵盖了广泛的场景和对象类别。数据集的标注过程包括一个无限列表的类别，可以由所有标注员扩展，任何清晰可见且语义上有意义的对象都会被标注。数据集提供了 428K 个 2D 全景分割和 27K 个跟踪标注，以及额外的 3D 标签投影，以促进对环境的进一步理解。

特点

JRDB-PanoTrack 数据集具有以下特点：1. 涵盖室内和室外拥挤场景的 2D 和 3D 数据；2. 高质量的 2D 空间全景分割和跟踪标注，以及额外的 3D 标签投影；3. 包含多样化的对象类别，可用于封闭和开放世界的识别基准；4. 引入基于 OSPA 的指标，用于评估开放世界场景。

使用方法

JRDB-PanoTrack 数据集可用于全景分割和跟踪任务，包括封闭世界和开放世界的场景。数据集的标注数据可以用于训练和评估全景分割和跟踪模型。数据集还支持 3D 全景分割和跟踪任务，通过将 2D 标注数据投影到 3D 点云上，生成伪标签用于模型训练。数据集的使用方法包括数据预处理、模型训练和评估，以及知识迁移等。

背景与挑战

背景概述

在近年来，自主机器人系统在人类密集环境中应用的需求日益增长，其中环境理解对于机器人导航、人机交互和决策至关重要。传统的数据集主要依赖于单个传感器，并且对象类别和场景有限，无法提供机器人所需的全面环境理解。作为JRDB数据集的扩展，本文介绍了一个名为JRDB-PanoTrack的新型开放世界全景分割和跟踪基准数据集，旨在更全面地感知环境。JRDB-PanoTrack包括：(1)涉及室内和室外人群场景的各种数据，以及全面的2D和3D同步数据模式；(2)高质量的2D空间全景分割和时序跟踪注释，以及额外的3D标签投影以实现更深入的空间理解；(3)多样化的对象类别，用于封闭和开放世界识别基准，并使用OSPA-based指标进行评估。对领先方法的广泛评估表明，我们提出的基准数据集带来了重大挑战。

当前挑战

JRDB-PanoTrack数据集的挑战主要包括：(1)所解决的领域问题：该数据集旨在解决机器人系统在复杂人群密集环境中进行导航、交互和决策所需的环境理解问题；(2)构建过程中遇到的挑战：数据集收集了室内和室外人群场景的2D和3D同步数据模式，并提供了高质量的2D空间全景分割和时序跟踪注释，以及额外的3D标签投影以实现更深入的空间理解。此外，数据集还引入了多样化的对象类别，用于封闭和开放世界识别基准，并使用OSPA-based指标进行评估。这些特点使得JRDB-PanoTrack成为一个具有挑战性的数据集，需要更先进的算法和方法来应对其中的复杂性和多样性。

常用场景

经典使用场景

在自动驾驶、机器人导航、人机交互等领域，环境感知是至关重要的步骤。传统的数据集由于依赖单一传感器、有限的物体类别和场景，无法为机器提供全面的环境理解，从而限制了其在复杂场景下的导航、交互和决策能力。JRDB-PanoTrack 数据集通过提供室内外拥挤场景、多模态数据（2D 和 3D）、高质量的全景分割和跟踪标注，以及多样化的物体类别，为机器环境感知提供了更全面的视角，从而有助于提升机器在复杂场景下的性能。

衍生相关工作

JRDB-PanoTrack 数据集的发布推动了相关领域的研究进展。例如，基于该数据集，研究者们开发了多种新的全景分割和跟踪算法，并取得了显著的性能提升。此外，该数据集还促进了开放世界评估指标的研究，为评估模型的泛化能力提供了新的工具。

数据集最近研究

最新研究方向

JRDB-PanoTrack数据集的引入为机器人在拥挤的人类环境中进行环境理解提供了新的基准。该数据集涵盖了室内和室外拥挤场景，包括2D和3D同步数据模态，为视觉和机器人应用提供了全面的数据支持。此外，该数据集还提供了高质量的2D全景分割和跟踪注释，包括428K全景掩码、27K跟踪标签和7.3B注释像素。为了进一步的空间理解，还提供了额外的3D标签投影。此外，JRDB-PanoTrack还引入了多种对象和开放世界基准，用于泛化研究。最后，JRDB-PanoTrack对某些区域的多类进行了注释，例如图1中的玻璃或挂在墙上的物体。我们提出了基于最佳子模式匹配(OSPA)的度量标准来处理此类评估。基于JRDB-PanoTrack数据集，我们提出了几个基准，包括封闭世界(CW)和开放世界(OW)全景分割和跟踪。我们对这些基准上的最先进方法进行了广泛的评估。此外，最先进的方法还根据我们的3D标签投影进行了评估。结果表明，迫切需要能够熟练处理复杂拥挤环境中的复杂性的高级方法。我们的主要贡献是：我们提出了JRDB-PanoTrack，这是一个用于空间和时间机器人环境理解的广泛新数据集。在JRDB-PanoTrack中，提供了高质量的全景分割和跟踪注释。我们使用移动机器人收集了全面的数据，包括2D和3D模态以及室内和室外拥挤场景。封闭世界和开放世界基准被提出用于可泛化的环境理解。我们的数据集还包含多类注释和OSPA基于的评估指标。我们对JRDBPanoTrack上最先进的封闭世界和开放世界分割/跟踪方法进行了广泛的评估，并讨论了它们的优缺点。

相关研究论文

• JRDB-PanoTrack: An Open-world Panoptic Segmentation and Tracking Robotic Dataset in Crowded Human Environments

  莫纳什大学 · 2024年