Shelf&Tote Benchmark Dataset (MIT-Princeton Amazon Picking Challenge 2016 Shelf&Tote Benchmark Dataset)

近年来，仓库自动化引起了极大的兴趣，其中最明显的可能是亚马逊拣货挑战赛 (APC)。实现完全自主的取放系统需要一个强大的视觉系统，能够可靠地识别物体及其 6D 姿势。但是，由于环境杂乱、自闭塞、传感器噪声和种类繁多的物体，解决方案避开了仓库设置。在本文中，我们展示了一个视觉系统，该系统在 APC 2016 的装载和拣选任务中分别获得第三和第四名。我们的方法利用多视图 RGB-D 数据和数据驱动的自我监督学习来克服上述困难。更具体地说，我们首先使用完全卷积神经网络对场景的多个视图进行分割和标记，然后将预扫描的 3D 对象模型拟合到生成的分割中以获得 6D 对象姿势。训练用于分割的深度神经网络通常需要大量带有手动标签的训练数据。我们提出了一种自我监督的方法来生成大型标记数据集，而无需繁琐的手动分割，可以轻松扩展到更多对象类别。我们证明了我们的系统可以在各种场景下可靠地估计物体的 6D 姿态。