HARDVS 2.0

HARDVS 2.0是一个大规模的多模态RGB-Event人体活动识别基准数据集，由安徽大学等机构研发。该数据集包含300种日常生活中的活动类别，总计107,646对视频，覆盖了各种具有挑战性的场景。数据集利用DAVIS346事件相机录制，确保了多样性，包括多视角、不同的光照条件、运动速度、动态背景、遮挡、闪光灯和摄影距离等因素。它是迄今为止第一个用于现实生活中不受控制环境的人体活动识别的大型、具有挑战性的多模态数据集。

HARDVS 2.0 is a large-scale multimodal RGB-Event human activity recognition benchmark dataset developed by institutions including Anhui University. It contains 300 categories of daily life activities and a total of 107,646 video pairs, covering various challenging scenarios. The dataset was recorded using a DAVIS346 event camera, ensuring diversity in aspects such as multi-view angles, varying lighting conditions, motion speeds, dynamic backgrounds, occlusions, flash photography, and shooting distances. To date, it is the first large-scale and challenging multimodal dataset for human activity recognition in unconstrained real-world environments.

搜集汇总

数据集介绍

构建方式

HARDVS 2.0数据集的构建采用了多模态RGB-Event传感器同步采集的方式，通过DAVIS346事件相机记录现实世界中的人类日常活动。该数据集包含300个类别的107,646个配对视频片段，每个视频时长约5至10秒，涵盖了多视角、多变光照条件、不同运动速度、动态背景、遮挡及闪光等多种挑战性场景。数据采集过程中，特别注重了真实性和多样性，确保数据集能够充分反映事件相机在快速运动和低光照条件下的优势。

特点

HARDVS 2.0数据集是目前首个大规模、真实场景下的多模态人类活动识别基准数据集。其显著特点包括：1) 规模庞大，视频样本数量超过10万；2) 类别丰富，覆盖300种日常活动；3) 场景多样，包含室内外不同环境下的活动记录；4) 挑战性强，专门设计了低光照、快速运动等困难场景；5) 多模态同步，每个样本都包含配对的RGB帧和事件流数据。这些特点使其成为评估新型人类活动识别算法的理想平台。

使用方法

HARDVS 2.0数据集支持端到端的多模态人类活动识别研究。典型使用流程包括：1) 数据预处理，将异步事件流转换为与RGB帧对齐的事件图像；2) 特征提取，使用主干网络分别处理RGB和事件模态；3) 多模态融合，通过设计的融合策略整合双模态特征；4) 分类识别。数据集已按60%、10%、30%的比例划分为训练、验证和测试集，便于模型开发和评估。研究者可利用该基准数据集开发新型算法，特别是在处理快速运动和极端光照条件下的活动识别任务。

背景与挑战

背景概述

HARDVS 2.0是由安徽大学计算机科学与技术学院联合多家研究机构于2024年提出的多模态人类活动识别基准数据集。该数据集旨在解决传统RGB相机在极端光照条件和快速运动场景下的性能局限，通过结合生物启发的事件相机（event camera）与RGB相机的优势，为计算机视觉领域的人类活动识别研究提供了新的数据支持。HARDVS 2.0包含300类日常生活行为，共计107,646个配对视频序列，覆盖多视角、动态光照、快速运动等多种挑战性场景，是目前首个面向真实非受控环境的大规模多模态人类活动识别数据集。该数据集的建立不仅填补了RGB-Event多模态数据在人类活动识别领域的空白，也为基于物理启发的多模态学习算法提供了验证平台。

当前挑战

HARDVS 2.0面临的挑战主要体现在两个方面：领域问题挑战方面，传统RGB相机存在动态范围有限（在极端光照下性能下降）、运动模糊（高速运动时帧率不足）等固有缺陷，而事件相机虽然具有高时间分辨率和光照鲁棒性，但其稀疏的空间分辨率需要与RGB数据有效融合；构建过程挑战方面，数据集需精确对齐异步事件流与RGB帧序列的时间戳，处理事件相机特有的噪声模式（如闪烁光敏感性问题），并确保多视角、多光照条件下数据采集的一致性。此外，构建大规模真实场景数据集需解决存储效率（事件数据的稀疏表征）和标注成本（300类细粒度活动标注）等技术难题。

常用场景

经典使用场景

HARDVS 2.0数据集在人类活动识别（HAR）领域具有广泛的应用场景，特别是在多模态视觉任务中。该数据集结合了RGB和事件相机数据，能够有效应对光照不足和快速运动等挑战性场景。经典使用场景包括智能监控、运动分析、人机交互等，其中事件相机的高动态范围和异步成像特性使其在低光环境和高速运动场景中表现出色。数据集包含300类日常活动，如饮水、骑车、坐下等，覆盖了多视角、动态背景、遮挡等多种复杂情况，为算法提供了丰富的测试环境。

衍生相关工作

该数据集已衍生出多项创新性研究工作，包括基于物理热传导模型的多模态融合框架MMHCO-HAR。相关经典工作涉及：1）Wang等人提出的vHeat模型，将热传导原理引入视觉任务；2）SSTFormer等Transformer架构在事件流识别中的应用；3）政策路由策略解决的多模态不平衡融合问题。这些工作不仅验证了数据集的科研价值，还推动了事件相机与RGB数据的协同处理技术发展，为后续的生物启发模型和脉冲神经网络研究提供了重要参考。

数据集最近研究

最新研究方向

近年来，HARDVS 2.0数据集在计算机视觉领域引起了广泛关注，特别是在基于RGB-Event的多模态人类活动识别（HAR）研究中。该数据集通过结合RGB相机和事件相机的优势，解决了传统RGB相机在极端光照条件和快速运动场景下的性能限制。研究热点主要集中在多模态特征融合、物理启发的热传导模型以及大规模真实世界数据集的构建。HARDVS 2.0不仅填补了现有数据集的空白，还为多模态HAR任务提供了丰富的实验平台，推动了该领域的技术进步。其影响和意义在于为未来研究提供了可靠的基准，并促进了事件相机在复杂场景中的应用。

相关研究论文

• Human Activity Recognition using RGB-Event based Sensors: A Multi-modal Heat Conduction Model and A Benchmark Dataset

  安徽大学计算机科学与技术学院 · 2025年