CeleX-HAR

CeleX-HAR数据集由安徽大学计算机科学与技术学院等机构的研究人员创建，是一个大规模的高清人类行为识别数据集。该数据集包含124,625个高分辨率事件流视频，覆盖150种日常行为类别。数据集的创建考虑了多视角、多种光照条件、动作速度和遮挡等因素。CeleX-HAR旨在支持高分辨率输入信号的网络结构设计，推动事件相机在人类行为识别领域的应用。The CeleX-HAR dataset was developed by researchers from the School of Computer Science and Technology of Anhui University and other institutions. It is a large-scale high-definition human activity recognition dataset. This dataset contains 124,625 high-resolution event stream videos covering 150 categories of daily activities. The construction of the dataset takes into account multiple factors including multiple viewpoints, various lighting conditions, movement speeds and occlusions. CeleX-HAR aims to support the design of network architectures for high-resolution input signals and promote the application of event cameras in the field of human activity recognition.

搜集汇总

数据集介绍

构建方式

CeleX-HAR数据集的构建是基于CeleX-V事件相机，它包含了150个常见动作类别，共计124,625个视频序列。数据集在录制时考虑了多种因素，包括多视角、光照条件、动作速度和遮挡等。为了构建一个更全面的基准数据集，作者报告了超过20种主流的人体动作识别模型，以便未来工作进行比较。此外，还提出了一种新的Mamba视觉骨干网络，称为EVMamba，它配备了空间平面多方向扫描和新的体素时间扫描机制。通过编码和挖掘事件流的空间时间信息，EVMamba在多个数据集上取得了良好的结果。

特点

CeleX-HAR数据集的特点包括：1) 大规模和高分辨率：包含124,625个高清（1280×800）事件视频序列，是目前最大的人体动作识别数据集；2) 多样性：涵盖了150个日常动作类别，考虑了多种因素，如多视角、光照条件、动作速度和遮挡等；3) 基准模型：提供了超过20种主流的人体动作识别模型，方便未来研究进行比较；4) 高效模型：提出了EVMamba模型，该模型在多个数据集上取得了良好的结果，并且在效率方面有优势。

使用方法

CeleX-HAR数据集的使用方法包括：1) 数据集准备：下载CeleX-HAR数据集，并将其解压缩到指定的目录；2) 数据预处理：对数据集进行预处理，如数据增强、数据分割等；3) 模型训练：使用CeleX-HAR数据集训练人体动作识别模型，如CNN、Transformer、RWKV和Mamba等；4) 模型评估：在测试集上评估模型的性能，如准确率、召回率等；5) 模型优化：根据评估结果对模型进行优化，如调整超参数、修改网络结构等。

背景与挑战

背景概述

在计算机视觉和人工智能领域，人体动作识别（HAR）一直是关键的研究方向，其中RGB相机通常作为主要工具。然而，在现实世界中，RGB相机面临许多挑战，包括光照条件、快速运动和隐私问题。因此，生物启发的动态视觉传感器（DVS）由于低能耗、高动态范围等优势而受到越来越多的关注。尽管如此，现有的基于事件的HAR数据集分辨率较低（例如346 × 260）。为了解决这个问题，本文提出了一个名为CeleX-HAR的大规模、高分辨率（1280 × 800）的人体动作识别数据集。该数据集包含150个常见动作类别，总计124,625个视频序列，并考虑了多视角、光照、动作速度和遮挡等多种因素。此外，为了构建一个更全面的基准数据集，我们还报告了超过20种主流的HAR模型，以供未来工作进行比较。同时，我们还提出了一种名为EVMamba的新型Mamba视觉骨干网络，用于基于事件流的HAR，该网络配备了空间平面多方向扫描和新型体素时间扫描机制。通过编码和挖掘事件流的空间时间信息，我们的EVMamba在多个数据集上取得了良好的结果。该数据集和源代码将公开发布。

当前挑战

CeleX-HAR数据集和相关研究面临的主要挑战包括：1)高分辨率事件数据处理的计算成本问题；2)现有网络架构在处理高分辨率数据时的性能饱和；3)如何在保持模型复杂度和识别性能之间取得平衡。为了解决这些问题，我们提出了一种基于Mamba架构的事件识别框架，并开发了一种创新的体素时间扫描机制，该机制在模型复杂度和识别性能之间取得了良好的平衡。此外，我们在CeleX-HAR数据集上训练和报告了超过20种分类模型，为后续工作提供了良好的比较平台。

常用场景

经典使用场景

CeleX-HAR数据集作为事件流人体动作识别的高清基准数据集，其经典使用场景包括但不限于：1）安全监控领域的行为预防、过程监控和事后检查；2）体育赛事中的智能裁判系统；3）智能家居中的行为分析等。该数据集提供了丰富的真实世界场景数据，为事件相机在人体动作识别领域的应用提供了强有力的支持。

解决学术问题

CeleX-HAR数据集解决了现有事件相机人体动作识别数据集分辨率低、场景覆盖不足等问题。通过提供高分辨率、大规模的数据集，CeleX-HAR促进了事件相机在人体动作识别领域的深入研究，为构建高性能、高效率的动作识别模型提供了数据基础。此外，该数据集还考虑了多视角、不同光照条件、相机运动、动作速度、遮挡等因素，为真实世界场景下的动作识别提供了更全面的数据支持。

衍生相关工作

CeleX-HAR数据集的提出衍生了多个相关研究工作。例如，基于CeleX-HAR数据集，研究人员提出了EVMamba模型，该模型利用视觉Mamba架构和创新的体素时间扫描机制，在事件流人体动作识别任务中取得了良好的性能。此外，CeleX-HAR数据集还为事件相机在人体动作识别领域的其他研究工作提供了数据支持，推动了该领域的研究进展。