saluslab/human-machine-interactions

该数据集包含人类与先进制造机器（特别是线弧增材制造（WAAM）机器）之间的交互观察数据。数据集的动机是为了改善设计与制造之间的透明度，特别是在人类与机器交互的量化方面。数据集包括3.87小时的深度图像和人体骨架数据，共209,230帧，记录了1228次交互。数据收集使用了Microsoft Azure Kinect DK传感器，并提取了深度图像和人体骨架。数据集支持视频分类和时间序列预测等任务，并提供了详细的动作列表和骨架特征，以及一些机器学习技术的建议。

原始信息汇总

数据集概述

数据集简介

该数据集包含人类与先进制造机器（具体为线弧增材制造（WAAM）机器）之间交互的观察记录。数据集旨在通过观察人类与制造机器之间的实际交互，支持对制造业中人类行为的理解。

动机

设计与制造之间的透明度对于减少设计迭代至关重要。通过收集和分析人类与制造机器的交互数据，可以更好地理解人类行为对制造过程的影响，从而改进设计与制造之间的协调。

支持的任务

• 视频分类：使用提供的深度图像和关节骨架序列，通过机器学习技术对人类行为进行分类。

语言

英语

数据内容

数据集包含3.87小时的视频数据（209,230帧，15 FPS），记录了1228次交互，持续6个月。

数据帧

每帧包含以下数据点和标签：

• image：320x288像素的16位灰度深度图像。
• frame(#)：从0到209230的整数，表示唯一的帧标识符。
• skeleton：包含32个3D坐标的数组，表示人体骨架。
• action_label：当前帧捕捉到的动作标签。
• location_label：当前帧中人类在机器上进行交互的位置标签。
• user_label：当前帧中人员的唯一用户ID。
• view_label：传感器视角标签（0表示外部视角，1表示内部视角）。
• action_number：当前帧所属的完整动作的编号（0到1227）。
• datetime：帧捕捉的时间戳。

数据收集

机器与设施

数据集中的交互发生在Lincoln Electric Sculptprint RND线弧增材制造（WAAM）机器上，该机器位于Mill19制造与机器人研究设施。

传感器与数据模态

使用两个Microsoft Azure Kinect DK摄像头捕捉数据，重点关注深度图像和人体关节骨架。

隐私

数据收集过程中仅使用深度图像和关节骨架，以保护用户的隐私。

附加信息与分析技术

动作列表

数据集包含以下动作：

• using_control_panel
• using_flexpendant_mounted
• using_flexpendant_mobile
• inspecting_buildplate
• preparing_buildplate
• refit_buildplate
• grinding_buildplate
• toggle_lights
• open_door
• close_door
• turning_gas_knobs
• adjusting_tool
• wiring
• donning_ppe
• doffing_ppe
• observing
• walking

骨架特征

每帧中的骨架数据包含32个关节的3D坐标（x, y, z），单位为毫米。

机器学习技术

用于人类行为识别的机器学习技术包括：

• 长短期记忆网络（LSTM）
• 卷积神经网络（CNN）
• 图神经网络（GCN）
• 自编码器