3HANDS Dataset

3HANDS数据集是由德国萨尔兰大学开发的一种新颖的数据集，它包含了在自然istic方式下，执行日常活动的参与者与髋关节安装的 supernumerary robotic limb (SRL) 之间的物体交接互动。该数据集捕捉了SRL交互的独特特征，如操作在亲密个人空间中、不对称物体来源、隐式动作同步以及用户在交接过程中参与主要任务等。它由12对参与者在执行12种日常活动时产生的946次交互组成，包含完整的身体（69个关节）和手部（每个手21个关节）的装配骨架数据。该数据集旨在支持 supernumerary robotic limbs 在人类交互行为设计中的应用。

The 3HANDS dataset is a novel dataset developed by Saarland University in Germany. It contains object handover interactions between participants performing daily activities in a naturalistic manner and their hip-mounted supernumerary robotic limbs (SRLs). This dataset captures the unique characteristics of SRL-mediated interactions, such as manipulation within intimate personal spaces, asymmetric object origins, implicit action synchronization, and users engaging in primary tasks during the handover process. It consists of 946 interaction instances generated by 12 pairs of participants while conducting 12 daily activities, including complete skeletal data of the full body (69 joints) and each hand (21 joints per hand). This dataset aims to support the application of supernumerary robotic limbs in the design of human-robot interaction behaviors.

搜集汇总

数据集介绍

构建方式

3HANDS数据集的构建采用了一种新颖的方法，旨在捕捉人类之间的自然物体传递交互。数据集包含了12对参与者进行12项日常活动的946次交互记录。参与者之一扮演主用户，执行日常活动，而另一参与者扮演机器人手臂，以自然的方式传递和接收物体。这种不对称的空间配置和亲密的个人空间中的交互，使得数据集能够捕捉到独特的SRL交互特征，如不对称的物体来源、隐式的运动同步以及用户在传递过程中的主要任务参与。数据采集使用了无标记的光学运动捕捉系统Captury，该系统使用41个同步的2K相机，以25Hz的帧率记录运动。数据集包含了详细的骨骼数据和手部姿势，以及口头指令和反应的文本转录，以及交互是否发生的标注。

特点

3HANDS数据集具有以下特点：1）不对称的空间配置和亲密的个人空间中的交互；2）参与者角色的不对称性，即主用户和机器人助手；3）用户在传递过程中执行主要活动；4）隐式协调传递的起始。这些特点使得数据集特别适合训练SRLs，因为它能够捕捉到人类之间交互的细微差别和复杂性。此外，数据集还包含了丰富的多模态数据，包括运动捕捉、口头指令和反应的文本转录，以及交互是否发生的标注，为研究人员提供了深入理解人类运动和传递活动之间复杂互动的宝贵资源。

使用方法

3HANDS数据集可用于训练机器学习模型，以生成自然的手臂传递运动轨迹、预测传递位置和识别传递的起始时间。研究人员可以使用条件变分自编码器（CVAE）和神经网络架构来训练这些模型。数据集提供了详细的运动数据，包括人体骨骼和手部姿势，以及口头指令和反应的文本转录。研究人员可以使用这些数据来训练模型，以便更好地理解和预测人类在亲密个人空间中的传递活动。此外，数据集还包含了交互是否发生的标注，这使得研究人员可以训练模型来预测何时开始传递。最后，数据集还包含了口头指令和反应的文本转录，这可以帮助研究人员更好地理解人类之间的交互和传递活动。

背景与挑战

背景概述

随着机器人技术的进步，辅助性机器人肢体（SRLs）在增强人类物理能力方面展现出巨大的潜力。为了实现SRLs与人类的无缝、自然交互，设计能够进行物体交接的SRLs至关重要。然而，基于启发式策略的机器人控制方法既耗时又难以泛化，且导致运动不够自然。3HANDS数据集的创建旨在解决这个问题，它是一个包含人类在进行日常活动时与另一个参与者扮演的髋部SRL进行自然交接互动的数据集。该数据集捕捉了SRL交互的独特特征，包括在不对称的物体起源下在亲密的个人空间中操作，隐式运动同步，以及在交接过程中用户的参与。3HANDS数据集由德国萨尔兰大学、瑞士苏黎世联邦理工学院和德国马克斯·普朗克信息学研究所的研究人员共同创建，旨在为SRLs的交互行为设计提供数据支持。

当前挑战

3HANDS数据集面临的挑战主要涉及两个方面：一是解决领域问题，即如何使SRLs能够自然地与人类进行物体交接；二是构建过程中的挑战，包括如何捕捉到人类在亲密空间中的自然运动模式，以及如何将人类的运动模式转化为SRLs的运动轨迹。为了解决这些挑战，3HANDS数据集采用了无标记的光学运动捕捉系统，记录了946次交互，捕捉了详细的骨架数据和手部姿态，以及文本转录的口头表达和交流信息。此外，3HANDS数据集还面临如何将数据驱动的模型应用于实际场景的挑战，以及如何确保预测的轨迹安全可靠。

常用场景

经典使用场景

3HANDS数据集主要用于训练生成式模型，以创建自然的人机交互动作。特别是，该数据集用于生成假肢在人类日常活动中进行物体传递的自然动作轨迹，并预测传递的最佳位置和时间。这些模型能够帮助设计更直观、用户友好的假肢界面，特别是在需要额外帮助的物理活动中。

解决学术问题

3HANDS数据集解决了在个人空间中进行人机交互时，如何创建自然、安全的动作的问题。现有的数据集通常涉及面对面传递，而3HANDS则专注于不对称的配置，其中物体从用户的侧面传递，用户在进行主要活动的同时进行传递。此外，该数据集还解决了如何从用户的隐式姿势线索中预测传递时间的问题。

衍生相关工作

3HANDS数据集衍生了多个相关的研究工作，包括使用条件变分自编码器（CVAE）训练模型，以生成自然的手势动作轨迹、预测传递区域以及识别传递意图。此外，该数据集还支持对人类-人类传递动力学的分析，并可用于生成虚拟环境中逼真的人-化身传递。