UESTC-MMEA-CL

UESTC-MMEA-CL数据集由电子科技大学信息与通信工程学院创建，旨在解决持续学习中的灾难性遗忘问题。该数据集包含32种日常活动，涵盖视频、加速度计和陀螺仪数据，总计超过30小时。数据收集通过自研的集成有第一人称摄像头和可穿戴传感器的智能眼镜完成，确保视觉和传感器数据同步。该数据集适用于开发可穿戴设备应用，如智能眼镜，并支持对多模态第一人称活动识别的持续学习研究。

The UESTC-MMEA-CL dataset was developed by the School of Information and Communication Engineering, University of Electronic Science and Technology of China, aiming to solve the catastrophic forgetting problem in continual learning. It includes 32 daily activities, covering video, accelerometer and gyroscope data, with a total duration of over 30 hours. The data was collected via self-developed smart glasses integrated with first-person cameras and wearable sensors, which ensures the synchronization between visual and sensor data. This dataset is applicable to the development of wearable device applications such as smart glasses, and supports continual learning research on multimodal first-person activity recognition.

搜集汇总

数据集介绍

构建方式

为了克服第一人称活动识别中的灾难性遗忘问题，UESTC-MMEA-CL数据集采用了自主研发的眼镜，集成了第一人称摄像头和惯性测量单元（IMU）。数据收集过程分为设备配置和数据收集与后期处理两个步骤。设备配置包括设置视频分辨率、帧率和传感器采样率等参数。数据收集涉及十名参与者，每人佩戴眼镜进行32种日常活动，并由另一人使用终端确保每个视频只包含一个动作。数据收集完成后，使用中值滤波方法对传感器数据进行滤波，以更好地反映参与者的运动。

特点

UESTC-MMEA-CL数据集包含10名参与者进行的32种日常活动的视频、加速度和陀螺仪数据，总时长超过30小时。该数据集的特点在于其多模态性，将视频数据与辅助的惯性传感器数据相结合，提供了丰富的对象和运动属性。此外，该数据集还将活动类别分为不同的任务/步骤，以适应持续学习的需求，鼓励对持续多模态第一人称活动识别的研究。

使用方法

使用UESTC-MMEA-CL数据集时，可以单独或联合使用三种模态（RGB、加速度和陀螺仪）进行第一人称活动识别。此外，为了探索多模态网络在持续学习任务中的灾难性遗忘，可以在数据集上评估四种基线方法（EWC、LwF、iCaRL和微调）。这些方法可以帮助研究人员更好地理解灾难性遗忘问题，并探索可能的解决方案。

背景与挑战

背景概述

随着可穿戴摄像头的快速发展，大量第一人称视觉感知的egocentric视频数据变得可用。利用egocentric视频预测第一人称活动面临着许多挑战，包括视野有限、遮挡和不稳定运动。观察到可穿戴设备的传感器数据促进了人类活动识别(HAR)，使用多模态数据的活动识别吸引了越来越多的关注。然而，相关数据集的缺乏阻碍了多模态深度学习在egocentric活动识别方面的发展。如今，深度学习在现实世界中已经导致了持续学习的关注，这通常遭受灾难性遗忘的困扰。但是，由于数据集的不可用性，egocentric活动识别的持续学习的灾难性遗忘问题，特别是在多模态的背景下，仍然没有被探索。为了协助这项研究，在本文中，我们提出了一个名为UESTC-MMEACL的多模态egocentric活动数据集，用于持续学习，该数据集是通过集成第一人称相机和可穿戴传感器的自开发眼镜收集的。它包含视频、加速度计和陀螺仪的同步数据，共有10名参与者穿着眼镜进行的32种日常活动。本文描述了我们的数据集的收集设备和过程。将其与现有公开的多模态数据集进行比较。给出了传感器数据的统计分析，以显示不同行为的有益效果。并报告了在使用RGB、加速度和陀螺仪三种模态的单独和联合使用的情况下，基于多模态网络架构的egocentric活动识别的结果。为了探索UESTC-MMEA-CL上持续学习任务的灾难性遗忘，我们广泛地评估了四种基线方法，并采用了不同的多模态组合。我们希望UESTC-MMEA-CL数据集能够促进未来关于可穿戴应用中第一人称活动识别的持续学习的研究。我们的数据集即将发布。

当前挑战

多模态egocentric活动识别的挑战包括有限的视野、遮挡和不稳定运动。此外，由于收集数据困难和缺乏数据集，多模态egocentric活动识别的进展缓慢。持续学习在egocentric活动识别中面临的挑战是灾难性遗忘，特别是在多模态的背景下。为了解决这个问题，我们提出了一个名为UESTC-MMEACL的多模态egocentric活动数据集，用于持续学习。该数据集包含32种日常活动类别的视频、加速度计和陀螺仪的同步数据。此外，我们还提出了一种基准模型，并使用单独和联合使用RGB、加速度和陀螺仪三种模态，在UESTC-MMEA-CL上展示了实验结果。我们还设置了持续egocentric活动识别任务，并描述了UESTC-MMEA-CL提出的主要挑战：每个模态的灾难性遗忘。此外，我们还尝试使用流行的持续学习方法来解决这个问题，并提供了一些潜在的研究方向。

常用场景

经典使用场景

在个人视角活动识别的持续学习中，UESTC-MMEA-CL数据集提供了丰富的视频、加速度计和陀螺仪数据，涵盖了32种日常活动。该数据集的同步数据对于训练和评估多模态深度学习模型至关重要，旨在解决个人视角活动识别中的灾难性遗忘问题。通过结合视觉和传感器数据，该数据集有助于更准确地捕捉和识别个人的活动，从而推动智能可穿戴设备在生活记录、健康监测等领域的应用。

衍生相关工作

基于UESTC-MMEA-CL数据集，研究人员可以进一步探索多模态个人视角活动识别中的持续学习问题，并提出更有效的算法来减轻灾难性遗忘的影响。此外，该数据集还可以用于研究不同模态数据对活动识别的影响，以及如何有效地融合这些数据以提高识别精度。此外，该数据集还可以用于研究其他领域，如人机交互、医疗监测、增强现实和虚拟现实等，从而推动这些领域的技术发展。

数据集最近研究

最新研究方向

随着可穿戴设备的快速发展，第一人称视角视频的收集和分析成为可能，为计算机视觉研究带来了新的范式转变。本文提出的UESTC-MMEA-CL数据集，旨在解决连续第一人称活动识别中灾难性遗忘问题。该数据集包含视频、加速度计和陀螺仪的同步数据，涵盖了32种日常活动，由10名参与者佩戴自研眼镜进行收集。该数据集的规模和类别数量与其他公开的多模态数据集相比具有显著优势。在实验中，本文提出了一个基准模型，并在UESTC-MMEA-CL上对三种模态（RGB、加速度和陀螺仪）进行了单独和联合使用，结果表明多模态数据融合能够有效提高识别准确率。此外，本文还评估了四种基线方法在连续学习任务中的表现，并分析了灾难性遗忘问题。本研究为连续多模态第一人称活动识别提供了新的研究方向，并为可穿戴设备的应用提供了数据支持。

相关研究论文

• Towards Continual Egocentric Activity Recognition: A Multi-modal Egocentric Activity Dataset for Continual Learning

  电子科技大学信息与通信工程学院 · 2023年