HARMONIC

HARMONIC数据集是由卡内基梅隆大学创建的一个大型多模态数据集，专注于人类与机器人协作的交互研究。该数据集记录了24名参与者与6自由度机器人臂在辅助进食任务中的交互数据，包括视频、眼动追踪、肌电图等多种数据类型。数据收集过程严格，旨在捕捉与人类心理状态和意图紧密相关的数据流。该数据集适用于研究意图预测、人类心理状态建模和共享自主性等领域，为研究复杂的辅助远程操作中的人机动态提供了丰富的资源。

The HARMONIC dataset is a large-scale multimodal dataset developed by Carnegie Mellon University, focusing on human-robot collaborative interaction research. It collects interaction data from 24 participants collaborating with a 6-degree-of-freedom robotic arm during assistive feeding tasks, covering multiple data modalities such as video, eye tracking, and electromyography (EMG). The data collection was carried out under strict standards, aiming to capture data streams closely linked to human psychological states and intentions. This dataset is applicable to research fields including intention prediction, human psychological state modeling and shared autonomy, providing a rich resource for exploring human-robot dynamics in complex assistive teleoperation scenarios.

搜集汇总

数据集介绍

构建方式

在辅助机器人协作领域，HARMONIC数据集的构建体现了对多模态数据采集的系统性设计。该数据集通过模拟辅助进食场景，招募了24名参与者操作六自由度机械臂完成食物拾取任务。数据采集过程整合了多种传感器：采用Pupil Labs眼动仪记录双眼红外视频及自我中心视角视频，以120赫兹频率捕捉凝视方向；利用Myo臂带采集前臂肌电信号，反映操作者的肌肉激活状态；通过立体ZED相机获取第三人称视角视频，记录参与者整体行为。同时，机械臂的关节位置、操纵杆输入及共享自主性算法生成的辅助控制信号均被同步记录。所有数据流均以时间戳对齐，并转换为CSV、YAML及视频格式，确保了多模态数据的时序一致性与可访问性。

特点

HARMONIC数据集的显著特征在于其多维度的数据覆盖与真实协作场景的紧密结合。数据集囊括了人类行为、机器人状态及环境信息的全景视图，具体包括自我中心视频、双眼凝视投影坐标、肌电信号、第三人称立体视频以及机械臂运动轨迹。这些数据模态经过精心选择，均与人类心理状态及意图预测密切相关，为研究共享自主性中的意图推断提供了丰富信号。此外，数据集涵盖了四种不同辅助水平（从全遥操作到全自主控制）下的交互数据，使得跨个体与跨自主性级别的比较分析成为可能。数据以多种友好格式提供，如视频文件及可读的文本数据，并附有详细的统计描述与同步索引，极大便利了后续研究的数据处理与模型开发。

使用方法

该数据集适用于意图预测、人类心理状态建模及共享自主性等多个研究方向。研究者可通过解析提供的CSV与YAML文件，提取时间对齐的多模态数据流，例如将凝视坐标与操纵杆输入关联，以探索视觉注意力与操控行为之间的动态关系。利用第三人称视频中的OpenPose生成的身体姿态、手部及面部关键点，可进一步分析非言语行为在协作任务中的表征作用。对于算法开发，数据集支持基于部分可观测马尔可夫决策过程的共享自主性模型验证，研究者可借助机械臂状态与辅助算法输出的信念分布，评估不同自主性水平下的协作效能。数据集的模块化结构允许用户按需下载完整或部分数据，并提供了基础处理工具，便于开展定制化的实验分析与模型训练。

背景与挑战

背景概述

在辅助性人机协作领域，理解人类心理状态与意图是实现高效协同的核心挑战。HARMONIC数据集由卡内基梅隆大学机器人研究所的Benjamin A. Newman、Henny Admoni等研究人员于2018年创建，旨在通过多模态数据捕捉人类在共享自主性场景下的自然交互行为。该数据集模拟辅助进食任务，记录了24名参与者与六自由度机械臂协作过程中的眼动、肌电、自我中心视频及机器人状态等多维度数据，为意图预测、心理状态建模等研究提供了丰富资源，显著推动了人机交互领域从理论到实证的深化。

当前挑战

HARMONIC数据集致力于解决辅助性人机协作中意图推断与心理状态建模的复杂问题，其核心挑战在于如何从多模态行为信号（如眼动、肌电）中精准解码人类隐含目标，以提升共享自主性算法的适应性。在构建过程中，研究团队面临多传感器同步与数据缺失的技术难题，例如肌电信号因初始化失败仅覆盖约20%的试验，且部分视频流存在帧丢失现象。此外，隐私保护要求导致部分参与者视频需进行去标识化处理，增加了数据一致性与完整性的维护难度。

常用场景

经典使用场景

在辅助机器人协作领域，HARMONIC数据集为研究人机共享自主性提供了经典的多模态分析场景。该数据集记录了人类在辅助进食任务中通过操纵杆控制六自由度机械臂的完整交互过程，同步采集了包括双眼红外视频、自我中心视角视频、肌电图信号、第三方立体视频以及机器人关节位置在内的多维数据流。研究者可藉此深入剖析人类在物理协作任务中的非言语行为模式，特别是眼动轨迹与操纵意图之间的复杂关联，为构建能够理解人类心理状态的智能辅助系统奠定数据基础。

衍生相关工作

该数据集催生了一系列围绕多模态行为分析与共享自主控制的经典研究工作。例如，研究者利用其眼动与操纵杆数据探索了人机共享操作中的错误检测机制，通过建立规范性注视行为模型来识别任务执行中的异常事件。此外，数据集也被用于验证和改进基于部分可观测马尔可夫决策过程的共享自主框架，优化机器人辅助动作的生成策略。这些衍生工作不仅深化了对协作行为动力学的理解，也推动了意图预测、异常检测等算法在更广泛物理协作场景中的迁移与应用。

数据集最近研究

最新研究方向

在辅助性人机协作领域，HARMONIC数据集正推动着多模态意图预测与共享自主性的前沿探索。该数据集通过整合眼动追踪、肌电信号与机器人运动轨迹等多维数据流，为构建人类心理状态的计算模型提供了前所未有的实验基础。当前研究聚焦于利用深度学习框架解析非言语行为模式，旨在实现机器人对操作者意图的实时精准推断，从而优化协作系统的自适应响应机制。这一方向与脑机接口和具身智能等热点领域深度交融，其进展将直接赋能康复医疗与智能辅助设备，推动人机共融系统向更自然、更高效的协作范式演进。

相关研究论文

• HARMONIC: A Multimodal Dataset of Assistive Human-Robot Collaboration

  卡内基梅隆大学 · 2020年