HHI-Assist

HHI-Assist数据集由EPFL的VITA实验室创建，包含908段人类在辅助任务中的运动捕捉视频，涉及从椅子坐起、从床躺下坐起、从床躺下站起以及无约束动作等四种辅助任务。数据集由21个关节和20个链接组成的骨架模型采集，每秒120帧，数据以BVH格式存储。该数据集旨在帮助机器人预测人类运动，为机器人控制策略提供数据驱动的方法，并作为物理人机交互的性能基准。数据集和代码已公开。

The HHI-Assist dataset was created by the VITA Lab at EPFL. It contains 908 motion capture videos of human movements during assistive tasks, covering four types of assistive tasks: rising from a chair, sitting up from lying on a bed, standing up from lying on a bed, and unconstrained movements. The dataset is captured using a skeleton model consisting of 21 joints and 20 links, with a frame rate of 120 frames per second, and the data is stored in BVH format. This dataset aims to aid robots in predicting human motions, provide data-driven approaches for robot control strategies, and serve as a performance benchmark for physical human-robot interaction. The dataset and code have been made publicly available.

搜集汇总

数据集介绍

构建方式

在物理辅助交互研究领域，数据采集的精确性对模型训练至关重要。HHI-Assist数据集通过配备20台OptiTrack Prime 17W红外运动捕捉摄像头的系统，采集了908段人类交互动作片段。参与者穿着带有50个反光标记点的动作捕捉服，在标准化辅助场景（如坐立转换、卧坐转换等任务）中执行互动动作。数据以120Hz频率记录为BVH格式，并通过人工筛选排除标记点遮挡导致的异常骨架数据，确保了运动轨迹的物理合理性与数据质量。

特点

该数据集聚焦于紧密物理交互场景，涵盖了护理者与受助者之间动态耦合的运动模式。其核心价值在于包含四种典型辅助任务的多变动作序列，例如坐立转换任务包含侧向辅助、杠杆辅助等不同操作方式。数据通过t-SNE可视化显示出任务间特征空间的可分离性，同时保留了参与者身高差异（平均169±17厘米）带来的运动多样性，为研究交互动力学提供了高粒度关节轨迹数据。

使用方法

研究者可利用该数据集开发交互感知的运动预测模型，例如通过条件去噪扩散模型处理双代理的观察姿态序列。典型应用流程包括：将24帧历史姿态序列作为输入，预测未来1秒内的关节运动轨迹。数据集已划分为训练集（44.8k序列）、验证集（3.5k序列）和测试集（8.7k序列），支持基于MPJPE指标的模型性能评估，并可通过Task 3数据验证模型在未见过场景中的泛化能力。

背景与挑战

背景概述

随着全球劳动力短缺与人口老龄化趋势加剧，辅助性机器人技术在护理领域的应用需求日益凸显。2025年，由瑞士洛桑联邦理工学院VITA实验室与丰田研究院联合发布的HHI-Assist数据集应运而生，旨在通过记录人类护理场景中的双人物理交互动作，解决辅助机器人运动预测的核心难题。该数据集收录了908段动作捕捉数据，涵盖坐立转换、卧起辅助等典型护理任务，为物理人机交互研究提供了首个专注于强物理接触的标记式运动数据库。其创新性在于捕捉护理者与被护理者之间的耦合动力学特征，对推动自适应辅助机器人政策制定具有里程碑意义。

当前挑战

在物理辅助领域，运动预测面临交互动态耦合的复杂性挑战：护理者与被护理者通过接触产生的力学反馈会实时改变双方运动轨迹，传统单智能体预测模型难以捕捉这种双向依赖关系。数据集构建过程中需克服多重技术障碍：基于标记式动作捕捉系统在密集接触场景中易受标记点遮挡干扰，需通过人工筛选排除骨骼穿透等异常数据；护理动作的个体化差异要求采集不同体型参与者的多模态交互数据，而临床安全性与运动规范性的平衡仍需进一步验证。

常用场景

经典使用场景

在物理辅助机器人研究领域，HHI-Assist数据集主要应用于人体运动预测模型的训练与验证。该数据集通过捕捉护理人员与被护理者之间真实的物理交互动作，为开发交互感知的运动预测算法提供了关键数据支撑。研究人员利用这些精确的运动捕捉数据，能够深入分析双人物理交互过程中的耦合动力学特性，从而提升机器人对人类动作意图的识别能力。

衍生相关工作

该数据集催生了一系列创新性研究，其中最具代表性的是基于条件Transformer的去噪扩散模型。这项开创性工作首次将扩散模型应用于紧密接触交互场景的姿势预测，启发了后续多个研究方向。相关衍生工作包括延迟耦合动力学建模、多模态运动预测框架开发，以及基于不同运动表征的预测方法比较研究，共同推动了交互感知运动预测领域的技术进步。

数据集最近研究

最新研究方向

在物理辅助交互领域，HHI-Assist数据集正推动人机协作的前沿研究，聚焦于交互感知运动预测技术的突破。针对护理场景中耦合动力学的复杂性，研究者提出了基于条件Transformer的去噪扩散模型，通过融合护理者与被护理者的姿态序列，实现了对双向交互动态的精准建模。这一进展不仅显著提升了运动预测的时空一致性，更为构建自适应辅助机器人策略奠定了数据驱动基础，有望缓解老龄化社会中的护理人力短缺问题。当前研究热点集中于多模态动作表征学习与跨任务泛化能力探索，为物理人机交互的安全性与自然性带来革新潜力。

相关研究论文

• 通过

  VITA实验室,EPFL,瑞士洛桑 · 2025年