human-robot interaction dataset

该数据集是由迪士尼研究团队收集的人类-机器人交互数据集，用于训练模仿操作者行为的模型。数据集中包含了一个专家操作者在控制机器人与人进行交互时产生的命令，以及记录的机器人和人类的姿态信息。通过这个数据集，模型可以学习如何自主与人进行交互并表达不同的情绪。数据集的收集是在一个动作捕捉工作室中进行的，其中操作者通过输入界面直接记录命令，同时使用OptiTrack动作捕捉系统来捕捉人类和机器人的姿态。数据集涵盖了不同的情绪表达，如默认模式、愤怒、悲伤、害羞和快乐等，旨在解决自主人机交互中的决策制定、运动控制和社交互动等问题。

This dataset is a human-robot interaction (HRI) dataset collected by the Disney Research team, designed for training models that imitate the behaviors of human operators. It includes commands generated by an expert operator when controlling a robot to interact with humans, along with recorded pose data of both the robot and human participants. Through this dataset, models can learn to autonomously interact with humans and convey diverse emotions. The data collection was conducted in a motion capture studio, where the operator directly recorded commands via an input interface, while the OptiTrack motion capture system was utilized to capture the poses of humans and the robot. The dataset covers a variety of emotional expressions such as default mode, anger, sadness, shyness, happiness, etc., and aims to address key challenges in autonomous human-robot interaction, including decision-making, motion control and social interaction.

搜集汇总

数据集介绍

构建方式

该数据集的构建过程依托于专业操作员与机器人之间的交互实验，通过运动捕捉系统精确记录人类与机器人的姿态数据以及操作员的控制指令。实验设计涵盖了多种情绪状态下的交互模式，如快乐、愤怒、害羞等，以确保数据的多样性和代表性。操作员在实验中被要求根据人类参与者的动作变化调整机器人的行为和情绪表达，从而生成丰富的交互场景。所有数据均在受控环境中采集，确保了数据的高质量和一致性。

特点

该数据集的核心特点在于其多模态性和情感表达的丰富性。它不仅包含了机器人和人类的高精度姿态数据，还涵盖了操作员的连续和离散控制指令，为研究人机交互提供了全面的数据支持。数据集特别强调了情绪表达的多样性，通过不同情绪状态下的交互数据，为情感计算和社交机器人研究提供了宝贵资源。此外，数据集的设计考虑到了跨平台应用的可行性，其控制指令的通用性使得数据可以应用于不同类型的机器人系统。

使用方法

该数据集适用于训练和评估人机交互模型，特别是基于模仿学习的自主控制系统。研究人员可以利用该数据集训练模型来预测操作员的控制指令，从而实现机器人的自主交互能力。数据集中的情绪标签可用于开发情感识别和表达算法。在使用时，建议先将人类和机器人的姿态数据转换为相对坐标系，以更好地捕捉交互动态。对于离散事件预测任务，可采用加权交叉熵损失函数来处理数据不平衡问题。数据集的跨平台特性也支持零样本迁移学习的研究。

背景与挑战

背景概述

Human-Robot Interaction Dataset（HRI数据集）由Disney Research的研究团队于2025年提出，旨在通过模仿人类操作员的行为来实现自主人机交互。该数据集的核心研究问题是如何在没有人类操作员介入的情况下，使机器人能够自主进行富有表现力的交互行为。数据集记录了专家操作员在控制机器人进行交互时的命令、机器人姿态以及人类姿态，为训练自主交互模型提供了宝贵的数据支持。这一研究在机器人学和人机交互领域具有重要意义，为开发具有情感表达能力的自主机器人奠定了基础。

当前挑战

HRI数据集面临的挑战主要体现在两个方面：领域问题的挑战和构建过程中的挑战。在领域问题方面，数据集旨在解决自主人机交互中的复杂问题，如情感表达、动态反应和跨平台适应性。这些问题的挑战在于如何准确捕捉和模拟人类操作员的社交直觉和行为多样性。在构建过程中，数据集面临数据采集的高成本、人类行为的高度多样性以及机器人平台差异带来的技术难题。此外，如何在小规模数据集上训练出泛化能力强的模型，以及如何实现不同机器人平台之间的零样本迁移，也是构建过程中的主要挑战。

常用场景

经典使用场景

在机器人行为模仿与自主交互研究中，human-robot interaction dataset被广泛用于构建基于扩散模型的命令预测框架。该数据集通过记录专家操作员在多样化情绪状态下的遥操作指令及人机相对位姿，为模型提供了学习连续离散混合信号预测的基准数据。其典型应用场景包括模拟机器人对人类的跟随、避让等非接触式交互行为，并通过情绪标签实现多模态行为生成，例如害羞状态下低头避让或快乐状态下主动舞蹈。

衍生相关工作

该数据集催生了多个标志性研究：RobotMDM将扩散模型与预训练控制器结合实现运动生成；CLoSD通过闭环仿真-扩散框架提升多任务控制鲁棒性；Diffusion Co-Policy则将其范式扩展至人机协作搬运任务。在基础理论层面，衍生工作如CAMDM改进了条件掩码机制，而MILD框架则探索了多模态潜在动力学建模。这些研究共同推动了从单纯动作模仿到社会认知交互的范式升级。

数据集最近研究

最新研究方向

在人类-机器人交互（HRI）领域，最新的研究方向聚焦于通过扩散模型（diffusion models）实现自主交互行为的生成与情绪表达。该数据集通过记录专家操作员的远程控制指令及人机相对位姿，构建了一个基于模仿学习的框架，能够同时预测连续操作指令（如摇杆输入）和离散事件（如按钮触发动作）。前沿探索体现在三个方面：其一，利用单一Transformer架构统一处理连续与离散信号预测，显著降低了数据需求（<1小时训练数据即可实现基础交互）；其二，通过零样本迁移验证了模型跨机器人平台的泛化能力，如从非人形双足机器人到人形机器人的指令映射；其三，用户研究表明，模型生成的情绪状态（快乐、愤怒、害羞等）识别准确率达68%-74%，且简单交互场景中自主行为与人工操作的区分准确率接近随机水平（54% vs 55%），证实了其在社交机器人情感计算中的潜力。当前热点包括如何整合视觉感知以替代动作捕捉系统，以及探索多模态输入（如面部表情）对长期交互行为的影响。

相关研究论文

• Autonomous Human-Robot Interaction via Operator Imitation

  迪士尼研究，瑞士分部；迪士尼研究，美国分部 · 2025年