DexYCB

我们介绍了 DexYCB，这是一个新的数据集，用于捕获物体的手抓握情况。我们首先通过跨数据集评估将 DexYCB 与相关的进行比较。然后，我们针对三个相关任务提出了最先进方法的全面基准：2D 对象和关键点检测、6D 对象姿态估计和 3D 手姿态估计。最后，我们评估了一项新的机器人相关任务：在人机对象切换中生成安全的机器人抓取。

We introduce DexYCB, a novel dataset for capturing hand-object grasp interactions. We first compare DexYCB with related datasets via cross-dataset evaluation. We then present a comprehensive benchmark of state-of-the-art methods for three relevant tasks: 2D object and keypoint detection, 6D object pose estimation, and 3D hand pose estimation. Finally, we evaluate a new robotics-related task: generating safe robotic grasps during human-object handover.

搜集汇总

背景与挑战

背景概述

DexYCB是一个专注于手抓握物体的图像数据集，旨在为计算机视觉任务提供基准，包括2D对象和关键点检测、6D对象姿态估计和3D手姿态估计。该数据集由华盛顿大学和英伟达于2021年发布，大小约119.2GB，包含20k个样本，适用于三维手部姿势估计和二维关键点检测的研究，并支持机器人相关任务如生成安全的机器人抓取。