bin-picking grasp dataset

本研究构建了一个包含10万张逼真RGB-D图像的合成数据集和250个不同场景的3000张RGB-D图像的真实世界数据集。合成数据集通过Nvidia Isaac Sim渲染生成，包含约28亿个针对吸力和手指抓取的注释抓取候选。真实世界数据集通过最小化人工标注成本的方式自我标注抓取候选。该数据集用于训练一个能够检测吸力和手指抓取候选的端到端抓取检测网络。

This study constructs a synthetic dataset containing 100,000 realistic RGB-D images, and a real-world dataset consisting of 3,000 RGB-D images across 250 distinct scenes. The synthetic dataset is rendered via NVIDIA Isaac Sim, and contains approximately 2.8 billion annotated grasp candidates for suction and finger-based grasping. The real-world dataset self-annotates its grasp candidates by minimizing manual annotation costs. This dataset is used to train an end-to-end grasp detection network that can detect grasp candidates for suction and finger-based grasping.

搜集汇总

数据集介绍

构建方式

该数据集通过结合大规模合成数据与真实世界数据构建而成。合成数据部分利用Nvidia Isaac Sim物理仿真引擎生成了10万张高真实感RGB-D图像，覆盖12,500个场景，标注了约28亿个吸盘和手指抓取候选点。真实数据部分则通过机械臂腕部相机采集了3,000张RGB-D图像，采用创新的空间信息自标注技术，仅需单张代表性图像的标注即可自动生成多视角标注，显著降低了人工标注成本。这种虚实结合的构建方式既保证了数据规模，又提升了模型的泛化能力。

特点

该数据集具有三大显著特征：多模态标注包含吸盘和手指两种抓取方式的密集候选点；场景多样性涵盖杂乱装箱环境中的各类物体，包括透明、可变形等特殊材质物体；标注精确性通过仿真环境的特权信息实现亚毫米级精度标注。特别值得注意的是，数据集创新性地引入了电磁抓取策略的标注，为金属物体的抓取提供了解决方案。这些特征使其成为目前最全面的装箱抓取数据集之一。

使用方法

该数据集主要用于训练端到端的多动作抓取检测网络。研究人员可采用多任务学习框架，利用RGB-D主干网络提取共享特征，通过任务特定输出头同时预测吸盘和手指抓取的概率分布。数据集支持表面材质分类网络的联合训练，实现根据物体特性自动选择最优抓取策略。在模型部署阶段，建议结合论文提出的主动避碰规划策略，充分利用抓取器的可重构特性，在真实装箱场景中实现安全稳定的物体抓取。

背景与挑战

背景概述

Bin-Picking Grasp Dataset是由Sungkyunkwan University的Yeong Gwang Son、Seunghwan Um等研究人员于2025年提出的，旨在解决机器人抓取在杂乱环境中的关键挑战。该数据集结合了合成数据与真实世界数据，包含100,000张合成RGB-D图像和3,000张真实世界RGB-D图像，标注了28亿个抓取候选点。其核心研究问题是提升机器人在杂乱场景中的多模态抓取能力，特别是在工业分拣任务中处理遮挡、物体多样性及环境约束的能力。该数据集通过结合吸盘和手指抓取的多功能夹爪设计，显著提升了机器人抓取的适应性和稳定性，相关成果在ICRA 2024的机器人抓取与操作竞赛中验证了其有效性。

当前挑战

Bin-Picking Grasp Dataset面临的挑战主要体现在两方面：领域问题方面，需解决杂乱环境中物体形状、材质多样性（如透明、金属物体）导致的抓取稳定性问题，以及传感器噪声和环境约束（如料箱角落）带来的碰撞风险；构建过程方面，需平衡合成数据与真实数据的域差距，通过仿真生成的28亿抓取标注虽降低了人工成本，但需设计复杂的自标注方法确保真实数据的标注一致性，同时多功能夹爪的动作协同与碰撞避免策略增加了数据标注和算法训练的复杂度。

常用场景

经典使用场景

在机器人抓取领域，bin-picking grasp dataset被广泛应用于杂乱环境下的物体抓取研究。该数据集通过合成和真实场景的RGB-D图像，提供了丰富的抓取候选点标注，特别适用于训练多模态抓取检测网络。研究者可利用该数据集评估算法在复杂场景下的抓取性能，如处理遮挡、物体多样性以及环境约束等挑战。

实际应用

在工业自动化领域，该数据集直接支撑了物流分拣、仓储管理等实际应用。基于数据集训练的抓取系统可处理多样化物体，包括易变形、透明和小型金属物体，适应箱体角落等复杂空间约束。例如在ICRA 2024机器人抓取竞赛中，采用该数据集的系统实现了在杂乱场景中高达86.3%的抓取成功率，显著提升了自动化分拣效率。

衍生相关工作

该数据集催生了多项机器人抓取领域的创新研究。基于其构建的多动作抓取检测网络（Multi-Action Grasp Detection Network）实现了端到端的吸盘与手指抓取联合预测。衍生的表面材料检测网络（SMD-Net）通过物体表面属性分类优化抓取策略。此外，数据集支撑的主动避碰规划策略被应用于ReC-Gripper等多功能末端执行器，推动了自适应抓取技术的发展。