OpenPack

OpenPack是由大阪大学信息科学与技术研究生院创建的大型多模态工作活动数据集，专注于工业领域的包装工作识别。该数据集包含53.8小时的多模态传感器数据，涵盖加速数据、关键点、深度图像以及来自16个不同经验水平的包装工作参与者的物联网设备读数。OpenPack不仅规模庞大，还提供了丰富的元数据，如参与者的包装工作经验和物理特征，支持多种研究任务的设计。此外，它是首个包含物联网设备读数的大型数据集，旨在通过传感器和稀疏物联网数据实现复杂的动作识别，为普及计算社区提供挑战性任务。OpenPack is a large-scale multimodal work activity dataset developed by the Graduate School of Information Science and Technology, Osaka University, focusing on industrial packaging work recognition. This dataset contains 53.8 hours of multimodal sensor data, including accelerometer data, human keypoints, depth images, and IoT device readings from 16 participants with varying levels of packaging work experience. Boasting a substantial scale, OpenPack also provides rich metadata such as participants' packaging work experience and physical characteristics, which facilitates the design of multiple research tasks. Furthermore, it is the first large-scale dataset to incorporate IoT device readings, aiming to enable complex action recognition using sensor and sparse IoT data, and offering challenging tasks for the pervasive computing community.

搜集汇总

数据集介绍

构建方式

OpenPack数据集的构建基于对物流环境中包装工作的深入研究，通过与工业现场的紧密合作，收集了53.8小时的多模态传感器数据。数据集包括加速度数据、关键点、深度图像以及来自物联网设备的读数，如手持条码扫描器，由16名具有不同包装工作经验的参与者提供。数据收集过程在模拟实际仓库工作环境的专用设施中进行，确保了数据的现实性和多样性。

特点

OpenPack数据集的主要特点在于其大规模的多模态数据和丰富的元数据。数据集包含了20,161个工作操作实例和53,286个动作实例，涵盖了9种不同的数据模态。此外，数据集还提供了参与者的包装工作经验、身体特征等详细元数据，为设计多样化的研究任务提供了可能。OpenPack是首个包含物联网设备读数的大规模复杂包装工作识别数据集，为精确识别现实世界中的活动提供了高置信度的数据支持。

使用方法

OpenPack数据集适用于多种复杂工作活动识别的研究和应用。研究者可以利用数据集中的多模态传感器数据，结合先进的活动识别技术，进行多模态、IMU-only和视觉-only的工作活动识别研究。数据集的丰富元数据还可以用于评估工人的表现、设计新的研究任务等。此外，数据集中的物联网设备读数为精确识别提供了高置信度的支持，适用于需要高精度识别的应用场景。

背景与挑战

背景概述

在工业和物流中心，人类工人持续扮演着适应快速变化的客户和供应商需求的重要角色。随着工业4.0的推进，传感器和物联网设备的数据被用于识别和优化人类工作活动。为了应对工业领域工作活动识别研究的挑战，大阪大学的研究团队于2023年推出了OpenPack数据集。该数据集包含了53.8小时的多模态传感器数据，涵盖加速度数据、关键点、深度图像以及物联网设备（如手持条码扫描器）的读数，由16名具有不同包装工作经验的主体参与收集。OpenPack数据集的推出旨在填补工业领域复杂工作活动识别数据集的空白，并为广泛计算社区提供研究复杂工作活动识别的挑战性任务。

当前挑战

OpenPack数据集在构建过程中面临多项挑战。首先，工业领域缺乏公开的多模态数据集，现有数据集多集中于简单的日常活动，难以反映工业环境的复杂性。其次，许多公开数据集仅提供视觉相关的模态，而在工业环境中，设备和存储系统的遮挡问题使得仅依赖视觉的方法面临困难。此外，尽管工业4.0的发展推动了数字化进程，但包含人类运动传感器数据和物联网设备读数的活动识别数据集仍然稀缺。最后，现有数据集缺乏丰富的元数据，限制了对识别结果的理解和新研究任务的设计。这些挑战使得OpenPack数据集在推动工业领域工作活动识别研究方面具有重要意义。

常用场景

经典使用场景

OpenPack数据集在工业包装工作识别中展现了其经典应用场景。通过整合多模态传感器数据，包括加速度、关键点、深度图像和物联网设备读数，该数据集能够精确捕捉包装过程中的复杂操作。研究者利用这些数据，可以开发和验证先进的活动识别算法，从而在物流环境中实现高效的工作流程优化和自动化。

衍生相关工作

OpenPack数据集的发布催生了多项相关研究工作。例如，研究者利用该数据集开发了基于深度学习的复杂工作活动识别模型，探索了多模态数据融合的有效方法。此外，OpenPack还启发了对工人技能评估和疲劳监测的研究，推动了工业环境中人机协作和智能监控技术的发展。

数据集最近研究

最新研究方向

在工业物联网（IoT）环境中，包装工作识别的数据集研究正朝着多模态数据融合和复杂活动识别的方向发展。OpenPack数据集的引入为这一领域提供了丰富的多模态传感器数据，包括加速度、关键点、深度图像和IoT设备读数，这些数据来自具有不同包装工作经验的16名参与者。最新的研究方向包括利用高置信度的IoT设备读数进行精确的活动识别，以及通过多模态数据融合提高识别精度。此外，研究还关注如何利用丰富的元数据，如工人的经验水平和物理特征，来设计更复杂的识别任务，从而推动工业环境中复杂工作活动识别的研究。

相关研究论文

• OpenPack: A Large-scale Dataset for Recognizing Packaging Works in IoT-enabled Logistic Environments

  大阪大学信息科学与技术研究生院 · 2024年