saluslab/human-machine-interactions

该数据集包含人类与先进制造机器（特别是线弧增材制造（WAAM）机器）之间的交互观察数据。数据集的动机是为了改善设计与制造之间的透明度，特别是在人类与机器交互的量化方面。数据集包括3.87小时的深度图像和人体骨架数据，共209,230帧，记录了1228次交互。数据收集使用了Microsoft Azure Kinect DK传感器，并提取了深度图像和人体骨架。数据集支持视频分类和时间序列预测等任务，并提供了详细的动作列表和骨架特征，以及一些机器学习技术的建议。该数据集包含人类与先进制造机器（特别是线弧增材制造（WAAM）机器）之间的交互观察数据。数据集的动机是为了改善设计与制造之间的透明度，特别是在人类与机器交互的量化方面。数据集包括3.87小时的深度图像和人体骨架数据，共209,230帧，记录了1228次交互。数据收集使用了Microsoft Azure Kinect DK传感器，并提取了深度图像和人体骨架。数据集支持视频分类和时间序列预测等任务，并提供了详细的动作列表和骨架特征，以及一些机器学习技术的建议。

原始信息汇总

数据集概述

数据集简介

该数据集包含人类与先进制造机器（具体为线弧增材制造（WAAM）机器）之间交互的观察记录。数据集旨在通过观察人类与制造机器之间的实际交互，支持对制造业中人类行为的理解。

动机

设计与制造之间的透明度对于减少设计迭代至关重要。通过收集和分析人类与制造机器的交互数据，可以更好地理解人类行为对制造过程的影响，从而改进设计与制造之间的协调。

支持的任务

• 视频分类：使用提供的深度图像和关节骨架序列，通过机器学习技术对人类行为进行分类。

语言

英语

数据内容

数据集包含3.87小时的视频数据（209,230帧，15 FPS），记录了1228次交互，持续6个月。

数据帧

每帧包含以下数据点和标签：

• image：320x288像素的16位灰度深度图像。
• frame(#)：从0到209230的整数，表示唯一的帧标识符。
• skeleton：包含32个3D坐标的数组，表示人体骨架。
• action_label：当前帧捕捉到的动作标签。
• location_label：当前帧中人类在机器上进行交互的位置标签。
• user_label：当前帧中人员的唯一用户ID。
• view_label：传感器视角标签（0表示外部视角，1表示内部视角）。
• action_number：当前帧所属的完整动作的编号（0到1227）。
• datetime：帧捕捉的时间戳。

数据收集

机器与设施

数据集中的交互发生在Lincoln Electric Sculptprint RND线弧增材制造（WAAM）机器上，该机器位于Mill19制造与机器人研究设施。

传感器与数据模态

使用两个Microsoft Azure Kinect DK摄像头捕捉数据，重点关注深度图像和人体关节骨架。

隐私

数据收集过程中仅使用深度图像和关节骨架，以保护用户的隐私。

附加信息与分析技术

动作列表

数据集包含以下动作：

• using_control_panel
• using_flexpendant_mounted
• using_flexpendant_mobile
• inspecting_buildplate
• preparing_buildplate
• refit_buildplate
• grinding_buildplate
• toggle_lights
• open_door
• close_door
• turning_gas_knobs
• adjusting_tool
• wiring
• donning_ppe
• doffing_ppe
• observing
• walking

骨架特征

每帧中的骨架数据包含32个关节的3D坐标（x, y, z），单位为毫米。

机器学习技术

用于人类行为识别的机器学习技术包括：

• 长短期记忆网络（LSTM）
• 卷积神经网络（CNN）
• 图神经网络（GCN）
• 自编码器

搜集汇总

数据集介绍

构建方式

该数据集聚焦于人与先进制造装备——电弧增材制造（WAAM）机器之间的交互行为，由卡内基梅隆大学制造未来研究所（MFI）在Mill19设施中历时6个月采集而成。研究团队部署了两台微软Azure Kinect DK深度传感器，分别从机器外部和内部视角同步捕获操作场景，以15帧/秒的速率获取深度图像，并利用Azure Kinect Body Tracking SDK提取人体32个关节的三维骨架坐标。最终数据集包含209,230帧、总计3.87小时的录像，覆盖1228次完整的人机交互动作。为保护参与者隐私，数据仅保留深度图像与骨架信息，舍弃了RGB视觉数据。

特点

该数据集的核心特色在于其多模态与细粒度标注的有机结合。每一帧不仅包含320×288像素的16位深度图像和32个关节的三维坐标，还附有动作标签（如操作控制面板、打磨基板、穿戴防护装备等17类）、交互位置标签、用户身份标识、视角来源以及时间戳。尤为独特的是，数据集通过“动作编号”字段将属于同一完整交互的帧序列串联起来，为时序分析提供了天然的结构化支持。这种设计使得研究者在进行基于骨架的人体动作识别时，既能利用空间几何特征（如关节角度、距离），又能结合时间动态信息（如关节速度），从而深度挖掘人机交互的潜在规律。

使用方法

该数据集主要面向视频分类与时间序列预测任务，尤其适用于基于骨架的人体动作识别研究。使用者可直接加载深度图像序列或骨架坐标数组，结合长短期记忆网络（LSTM）、图卷积网络（GCN）等深度学习模型进行动作分类。为应对数据集规模较大可能导致的加载崩溃问题，建议采用分批次下载策略。此外，研究者可对原始骨架坐标进行归一化处理，或衍生出关节速度、角度、距离等特征，以增强模型对交互行为的判别能力。数据集中时间戳与动作编号的配合，使得跨天会话分割与动作次序分析成为可能，为工业场景下的人机协同建模提供了可靠的数据基础。

背景与挑战

背景概述

在智能制造与数字孪生技术蓬勃发展的当下，人机交互的精准量化成为连接设计与制造的关键桥梁。由卡内基梅隆大学制造未来研究所（MFI）的John Martins、Katherine Flanigan与Christopher McComb等研究人员于2025年2月发布的HM-SYNC数据集，聚焦于电弧增材制造（WAAM）场景中的人类操作行为。该数据集历时六个月采集，包含1228次完整交互记录，通过微软Azure Kinect传感器获取深度图像与三维骨骼关节点数据，旨在揭示操作者与复杂制造设备间的动态协作规律。其核心研究问题在于弥合设计规范与制造执行之间的认知鸿沟，为面向制造的设计（DfM）提供数据驱动的行为建模依据。该成果发表于ASME《机械设计杂志》特刊，对信息物理社会系统（CPSS）与工业人因工程领域具有里程碑意义。

当前挑战

该数据集面临的核心挑战涵盖领域应用与数据构建两个层面。在领域问题层面，传统制造行为分析多依赖视觉图像，但WAAM设备存在高温弧光、金属烟尘及密闭腔体等恶劣工况，导致RGB摄像头采集失效，亟需开发基于深度图像与骨骼序列的鲁棒动作识别模型，以解决复杂工业环境中的人机交互分类难题。在构建过程中，研究人员需应对传感器视角遮挡问题——WAAM机器内外操作空间狭小且存在金属构件干扰，需部署双Kinect相机并协调内外视角同步；同时，为保护操作者隐私，刻意放弃彩色图像而仅采用深度模态，这增加了特征提取难度。此外，1228次动作的时序标注需精确对齐15FPS的帧序列，且需处理长时间跨度（6个月）中操作者轮换、设备状态变化等动态变量，对数据一致性提出严苛要求。

常用场景

经典使用场景

该数据集聚焦于人类与电弧增材制造（WAAM）设备之间的交互行为，提供了超过20万帧的深度图像与人体骨骼关键点数据，涵盖17种典型操作动作。经典使用场景是基于骨骼点序列的人体动作识别，研究者可借助时空图卷积网络（STGCN）或长短期记忆网络（LSTM）等深度学习模型，对操作员的精细动作进行分类与建模，从而量化人机交互过程中的行为模式。

衍生相关工作

该数据集衍生了一系列经典工作，包括基于多模态融合的人机交互分析框架、面向隐私保护的深度图像动作识别方法，以及结合时间序列预测的操作序列建模。相关研究已发表于ASME《机械设计杂志》特刊，并催生了关于制造人因工程、可转移动作识别等前沿方向的探索，为智能工厂中的人机协作提供了方法论支撑。

数据集最近研究

最新研究方向

在当前智能制造与数字孪生深度融合的背景下，该数据集聚焦于人机交互行为的细粒度理解，尤其针对电弧增材制造（WAAM）这一前沿工艺中的操作者动作识别。研究前沿已从简单的动作分类转向基于骨架关节序列的时空动态建模，利用图卷积网络（GCN）与长短期记忆网络（LSTM）等深度学习模型，解析操作者在复杂制造环境中的连续动作模式。该数据集通过长达6个月的采集，覆盖了从控制面板操作到焊板打磨等17类真实生产动作，为构建人机协同的数字孪生系统提供了关键标注数据。其隐私保护设计（仅采用深度图像与骨架坐标）也推动了工业场景下非侵入式感知技术的发展，对提升制造透明度、优化人机协作效率具有重要示范意义。