Amazon Robotic Manipulation Benchmark (ARMBench)

ARMBench是由亚马逊机器人创建的大型对象中心数据集，专为仓库环境中的机器人操作设计。该数据集包含超过235,000次拾取和放置活动，涉及超过190,000个独特对象。数据集通过在亚马逊仓库中使用机器人操纵器从内容异质的容器中执行对象分离来收集。ARMBench包含图像、视频和元数据，这些数据捕获了操纵的不同阶段，即拾取前、转移中和放置后。数据集的应用领域包括对象分割、对象识别和缺陷检测，旨在解决仓库自动化中的视觉感知挑战。ARMBench is a large-scale object-centric dataset developed by Amazon Robotics, tailored specifically for robotic manipulation tasks in warehouse environments. This dataset encompasses over 235,000 pick-and-place operations involving more than 190,000 unique objects. It is collected by deploying robotic manipulators in Amazon warehouses to perform object separation from containers with heterogeneous contents. ARMBench includes images, videos, and metadata that capture distinct stages of robotic manipulation: pre-pick, mid-transfer, and post-placement. Its application scenarios cover object segmentation, object recognition and defect detection, aiming to address visual perception challenges in warehouse automation.

搜集汇总

数据集介绍

构建方式

ARMBench数据集是在亚马逊仓库中，利用机器人执行从包含异构内容的容器中分离物体的任务过程中收集的大规模数据集。该数据集包含了机器人操作的不同阶段的图像、视频和元数据，涵盖了235K+次的抓取和放置活动，以及190K+个独特物体的信息。数据集的收集平台是一个机器人操作工作单元，它包含一个安装有真空式末端执行器的机械臂。工作单元的任务是从容器中抓取单个物体，并将其放置在移动托盘上，直到容器为空。数据集还包含了容器清单、参考图像等元数据，以及由系统设计自动获取或手动标记的注释。

特点

ARMBench数据集的特点包括：1)大规模：数据集包含235K+次的抓取和放置活动，以及190K+个独特物体的信息，能够提供对机器人操作任务的大规模数据支持；2)多样性：数据集涵盖了不同形状、材料、物理特性等多样化的物体，以及不同的配置和交互方式；3)多阶段数据：数据集包含了机器人操作的不同阶段的图像、视频和元数据，例如抓取前、转移中和放置后的数据；4)高质量的注释：数据集包含了对象分割、对象识别和缺陷检测等视觉感知任务的注释，以及基线性能评估。

使用方法

ARMBench数据集可以用于研究机器人操作任务中的不同视觉感知问题。用户可以根据自己的需求选择数据集的子集进行使用，例如选择特定物体类别、特定配置或特定阶段的图像或视频。数据集还提供了注释和基线性能指标，可以帮助用户评估和改进自己的算法。此外，用户还可以使用数据集进行新的基准任务和评估指标的研究。

背景与挑战

背景概述

在当今自动化仓库操作中，机器人操纵器需要处理各种物体、非结构化存储和动态变化的库存。这些设置在操纵过程中对感知物体的身份、物理特征和状态构成了挑战。现有的机器人操纵数据集要么考虑有限的物体集合，要么使用3D模型生成具有捕获物体属性、杂乱和交互限制的合成场景。本文介绍的Amazon Robotic Manipulation Benchmark (ARMBench)是一个大规模、以物体为中心的基准数据集，用于在仓库环境中进行机器人操纵。该数据集包含235K+个拾取和放置活动的图像、视频和元数据，对应于190K+个独特物体。数据在操纵的不同阶段捕获，即拾取前、转移中和放置后。基准任务是通过高质量注释提出的，并在三个视觉感知挑战上展示了基线性能评估，即杂乱中的物体分割、物体识别和缺陷检测。

当前挑战

ARMBench数据集面临的挑战包括：1)物体分割，包括450K+个高质量的手动标签，用于50K+个图像上的物体段。物体和杂乱程度的变化为实例分割算法提出了新的挑战。2)物体识别，为机器人操纵提供了一个开放的物体识别和置信度估计挑战。随着190K+个独特物体在各种配置中的出现，该数据集将用于基准测试图像检索和少样本分类方法，并具有不确定性估计。3)缺陷检测，具有手动分配的标签，用于罕见的但昂贵的机器人引起的缺陷，例如多物体拾取和包装缺陷。该数据集包含19K+个具有缺陷的活动图像和4K+个视频，以及100K+个没有缺陷的活动。此外，数据集还面临从合成数据到现实世界的差距、对新颖物体进行泛化的能力以及从不同背景和存储配置中进行分割性能下降等挑战。

常用场景

经典使用场景

ARMBench数据集作为机器人操作领域的基准数据集，其最经典的使用场景在于模拟现实仓库环境中机器人执行捡取和放置任务的复杂场景。数据集包含了190K+个独特对象在235K+次捡取和放置活动中的图像、视频和元数据。这些数据涵盖了操作的不同阶段，包括捡取前、转移中和放置后。ARMBench旨在帮助研究人员和工程师开发出能够处理各种对象、无序存储和动态库存变化的机器人操作系统。

实际应用

ARMBench数据集的实际应用场景在于提高仓库自动化操作的效率和准确性。通过使用该数据集训练的视觉感知算法，机器人可以更准确地识别和分割对象，从而提高捡取和放置任务的准确性。此外，数据集中的缺陷检测任务有助于识别机器人操作中可能出现的错误，从而减少浪费和成本。ARMBench数据集还可以用于开发新的机器人操作系统，使其能够更好地适应现实仓库环境中的各种挑战。

衍生相关工作

ARMBench数据集的发布推动了机器人操作领域的相关研究工作。例如，基于ARMBench数据集，研究人员可以开发新的实例分割算法，以处理杂乱场景中的变形和透明包装问题。此外，数据集中的对象识别和缺陷检测任务也为图像检索和少样本分类方法的发展提供了新的研究方向。ARMBench数据集的发布也为机器人操作领域的未来发展奠定了基础，有助于推动该领域的技术进步和应用拓展。