HOH Handover Dataset

HOH手递手数据集是一个包含136个物体的大规模数据集，用于加速基于数据的手递手研究、人机手递手实施和人工智能在手递手参数估计方面的研究。该数据集包含多视角RGB和深度数据、骨骼、融合点云、抓取类型和手性标签、物体、给予者和接收者的手部2D和3D分割、给予者和接收者的舒适度评级，以及配对的物体元数据和对齐的3D模型，涵盖了2,720次手递手交互，涉及136个物体和20对给予者-接收者，其中40对包括角色反转，由40名参与者组织。The HOH Handover Dataset is a large-scale dataset containing 136 objects, designed to accelerate data-driven handover research, human-robot handover implementation, and artificial intelligence research on handover parameter estimation. This dataset includes multi-view RGB and depth data, skeleton data, fused point clouds, grasp type and handedness labels, 2D and 3D segmentations of objects as well as the hands of the giver and receiver, comfort ratings for both the giver and receiver, paired object metadata, and aligned 3D models. It covers 2,720 handover interactions involving 136 objects and 20 giver-receiver pairs, among which 40 pairs include role reversal, and was organized by 40 participants.

搜集汇总

数据集介绍

构建方式

HOH Handover Dataset 是一个无标记的多模态人-物-人交接数据集，包含136个对象和20对参与者（40对角色反转）。数据集采用多摄像头设置，包括4个30FPS的Kinect RGB-D传感器和4个60FPS的FLIR Point Grey相机，以实现360度非身体安装的捕捉。参与者坐在设置中，以最小化疲劳，并执行68个对象的交接操作。数据集包括RGB和深度数据、骨骼、融合点云、抓取类型和用手标签、对象、交出者和接收者手的2D和3D分割、交出者和接收者的舒适度评分，以及配对的物体元数据和2,720次交接互动的对齐3D模型。

特点

HOH Handover Dataset 的特点在于其大规模的物体数量、参与者数量、角色反转的配对数量以及捕捉的互动总数。数据集包含多视图RGB和深度数据、骨骼、融合点云、抓取类型和用手标签、对象、交出者和接收者手的2D和3D分割、交出者和接收者的舒适度评分，以及配对的物体元数据和2,720次交接互动的对齐3D模型。此外，数据集还展示了对象几何形状、参与者姿势、互动方式和抓取类型的多样性。

使用方法

HOH Handover Dataset 的使用方法包括：1. 使用2D和3D数据中的两个人互动的现实代表性数据来加速交接研究的数据驱动研究。2. 使用神经网络进行抓取、方向和轨迹预测的实验结果。3. 使用多视图RGB和深度数据、骨骼、融合点云、抓取类型和用手标签、对象、交出者和接收者手的2D和3D分割、交出者和接收者的舒适度评分，以及配对的物体元数据和2,720次交接互动的对齐3D模型。4. 使用360度捕捉的自然人-人交接互动，克服了标记数据集的局限性。

背景与挑战

背景概述

人类与人类之间传递物体的行为是一种复杂的过程，它在促进流畅的人机交互（HRI）方面发挥着重要作用。研究者们已经对传递过程中涉及的广泛参数进行了深入研究，包括物理因素如握力、人际距离、物体方向、物体质量、手的运动和反应时间，以及认知参数如给予者/接受者意图沟通、眼神交流和对共同目标的共同注意力、运动适应和可利用性偏好。这些参数的研究导致了大量基于数据的HRI研究，并显示出基于学习的预测传递参数（如接受者握法）的潜力。鉴于传递的非言语方面及其对人际协调的依赖性，认知科学界对理解“传递告诉我们什么”有浓厚兴趣，例如，运动运动学对社会意图的敏感性、短期传递轨迹的个体性以及人际协调。传递研究还具有社会效益，为患者中心护理和提高协作生产力的机器人提供支持。然而，人类与人类之间传递研究的大规模传播受到两个挑战的阻碍。第一个挑战是，到目前为止，人类与人类之间传递研究使用了小数量的物体，通常为2-5个，少数为10-20个，至今没有超过30个。鉴于机器人可能在消费空间中与之交互的物体的多样性——包括工具、厨房用具、容器、玩具、水果、浴室用品、办公用品和电子产品等，小物体数量研究中的物理和认知参数的结论不能推广到野外的物体，除非完全研究物体属性（如尺寸、形状、质量、功能性和突起物或可利用性）的变化的影响。第二个挑战是，公开可用的数据集除了数量少和使用小物体数量外，还使用基于标记的运动捕捉（mocap），手腕上只有一个标记，物体上有1-5个标记。标记化身体mocap存在已知限制，如需要穿紧身服装，这限制了服装多样性，并且缺乏高分辨率手几何形状和物体结构，这阻碍了在握法和物体传递期间分析空间可利用性，以实现安全的人机传递。虽然已经尝试使用公共数据集来开发以人为灵感的机器人控制器，并展示了它们的价值，但受限制的标记化设置和小物体数量阻碍了它们在研究自然传递参数或用于开发依赖大量数据的机器人学习算法中的应用，这些算法需要高度的多样性。

当前挑战

HOH数据集解决了人类与人类之间传递研究的两个主要挑战。首先，它包含大量物体，共有136个物体，这远远超过现有数据集中的物体数量，从而可以更全面地研究物体属性对传递参数的影响。其次，HOH数据集采用无标记的方法捕捉自然真实世界的运动和服装，克服了标记化数据集的局限性，例如需要特定服装以进行身体追踪，以及缺乏高分辨率手追踪。然而，HOH数据集也面临一些挑战。首先，它缺乏握力数据，因为使用了非仪器化设置。其次，数据集中参与者的年龄和能力范围较窄，限制了研究结果的普适性。此外，尽管HOH数据集提供了6自由度物体姿态，但目前缺乏手动注释的手姿态。在无标记数据中，在遮挡和运动的情况下进行完整的手姿态注释是一项艰巨的任务。最后，尽管数据集包含了丰富的注释和多元数据，但将它们用于开发完整的机器人控制算法仍然是一个挑战，需要进一步的研究和开发。

常用场景

经典使用场景

HOH Handover Dataset是一个包含大量物体的人类-物体-人类交接数据集，旨在推动数据驱动的交接研究、人机交接实现以及基于二维和三维数据的人工智能交接参数估计。该数据集包含多视图RGB和深度数据、骨骼、融合点云、抓握类型和手性标签、物体、施与者手和接受者手的二维和三维分割、施与者和接受者的舒适度评分，以及配对的物体元数据和2,720次交接交互的校准三维模型。HOH数据集展示了物体几何形状、参与者姿势、交互方式和抓握类型的多样性。数据集还包含左座位的施与者。HOH数据集是迄今为止最大的交接数据集，在物体数量、参与者数量、具有角色逆转的配对数量以及捕获的交互总数方面均居首位。

衍生相关工作

HOH Handover Dataset的发布为人类-物体-人类交接研究提供了新的可能性。例如，研究人员可以利用该数据集开发基于学习的算法，以实现机器人操纵器在交接过程中的安全操作。此外，该数据集还可以用于研究人类交接过程中的舒适度感知，以促进交接过程中的协调和共享目标的实现。HOH Handover Dataset的发布还将推动人类-机器人交互领域中更多相关研究的发展。

数据集最近研究

最新研究方向

HOH数据集的最新研究方向在于推动人机交互（HRI）领域的数据驱动研究，特别是针对人类间物体传递的复杂过程。该数据集通过提供大量的人与人之间的物体传递交互数据，为研究物理和认知参数提供了丰富的资源，从而有助于理解人类间物体传递的本质。此外，HOH数据集的独特之处在于其无标记、多模态、高物体计数的特点，这使得它能够克服传统标记式数据集的局限性，捕捉更自然的人与人之间的交互过程。在未来的研究中，HOH数据集有望用于开发基于学习的算法，以预测和估计物体传递参数，如抓握类型、方向和轨迹，从而为机器人提供更安全、更自然的物体传递能力。

相关研究论文

• HOH: Markerless Multimodal Human-Object-Human Handover Dataset with Large Object Count

  · 2024年