DailyDVS-200

Name: DailyDVS-200
Creator: 西安电子科技大学，计算机科学与技术学院
Published: 2024-07-06T23:25:10+08:00

arXiv2024-07-06 更新2024-07-12 收录

事件相机

动作识别

数据链接：

https://github.com/QiWang233/DailyDVS-200 数据链接链接失效反馈

官方服务：

资源简介：

DailyDVS-200是由西安电子科技大学计算机科学与技术学院创建的一个全面的事件驱动动作识别基准数据集。该数据集包含200个动作类别，覆盖了真实世界中的多种场景，由47名参与者录制，共有超过22,000个事件序列。数据集的创建过程包括使用DVXplorer Lite传感器和RGB相机进行数据采集，并对每个序列进行14个属性的详细标注。DailyDVS-200旨在解决事件相机在动作识别领域的应用问题，为现有方法的验证和新方法的开发提供了一个坚实的基础。

DailyDVS-200 is a comprehensive event-driven action recognition benchmark dataset developed by the School of Computer Science and Technology, Xidian University. It encompasses 200 action categories spanning diverse real-world scenarios, recorded by 47 participants, and contains a total of over 22,000 event sequences. The dataset construction process involves data acquisition using the DVXplorer Lite sensor and an RGB camera, alongside detailed annotation of 14 attributes for each sequence. DailyDVS-200 aims to address the application challenges of event cameras in the domain of action recognition, providing a robust foundation for the validation of existing methods and the development of novel approaches.

提供机构：

西安电子科技大学，计算机科学与技术学院

创建时间：

2024-07-06

原始信息汇总

DailyDVS-200 数据集概述

摘要

DailyDVS-200 是一个专为基于事件的动作识别社区精心策划的基准数据集。该数据集涵盖了 200 个动作类别，涉及真实世界场景，由 47 名参与者录制，包含超过 22,000 个事件序列。每个序列都标注了 14 个属性，确保对录制动作的详细描述。DailyDVS-200 旨在反映广泛的动作类型、场景复杂性和数据采集多样性，为验证现有方法和启发新方法提供了坚实的基础。

数据集描述

动作类别：200 个特定事件动作类别
参与者：47 名社会招募的受试者
视频录制：22,046 个视频录制
摄像机：DVXplorer Lite 事件相机，空间分辨率为 320x240
标注属性：14 个属性

动作描述

200 个动作类别及其详细描述可在 ./resource/action_description.csv 文件中查看。

参与者信息

参与者为 18 至 25 岁的学生，身高范围为 158 cm 至 190 cm，体重范围为 48 kg 至 105 kg。详细信息可在 ./resource 目录中查看。

测试集与验证集

数据集的训练、测试和验证集划分可在 train.txt、test.txt 和 val.txt 文件中找到。每个文件中的每一行包含相对路径和动作 ID。测试集和验证集的参与者 ID 如下：

训练集：0,1,2,6,8,9,12,13,14,15,17,18,19,20,21,22,23,25,26,28,29,30,32,34,35,36,38,39,40,44,45,46
测试集：4,7,10,11,16,33,37,42,45
验证集：3,4,5,24,27,31,41,43

数据集下载

DailyDVS-200 数据集可在百度网盘下载。

数据集格式

DailyDVS-200 数据集提供 all_data.json 文件，记录每个数据的属性。数据以 .aedat4 格式提供，包含以下元素：

t：事件的时间戳
x：事件的 x 坐标
y：事件的 y 坐标
p：极性值，包含 1 和 0 两个类别，1 为正极性，0 为负极性

训练环境

Python 3.8
torch 1.13.1 + cu116
mmcv-full 1.7.0
mmaction2

模型权重

数据集提供了多种模型的 Top-1 和 Top-5 准确率，具体信息可在相关文档中查看。

许可证

该数据集基于 MIT 许可证发布，并已获得所有参与者的明确知情同意和授权文件。

搜集汇总

数据集介绍

构建方式

DailyDVS-200数据集通过精心策划，涵盖了200个动作类别，这些类别跨越了现实世界中的多种场景，由47名参与者录制，并包含超过22,000个事件序列。该数据集的设计旨在反映广泛的动作类型、场景复杂性和数据采集多样性。每个序列都带有14个属性的详细注释，确保对录制动作的细致描述。此外，DailyDVS-200的结构旨在促进多种研究路径，为验证现有方法和启发新方法提供了坚实的基础。

特点

DailyDVS-200数据集的显著特点在于其大规模和多样性。它不仅涵盖了200个动作类别，还通过47名参与者的录制，确保了数据的广泛代表性。每个事件序列都带有14个属性的详细注释，这些属性包括动作的视角、光照条件、相机运动等，使得数据集能够全面反映现实世界中的复杂情况。此外，数据集的设计考虑了多种现实场景，如室内外环境、日夜条件、相机高度和距离等，从而为事件相机在动作识别领域的应用提供了丰富的资源。

使用方法

DailyDVS-200数据集适用于多种事件相机动作识别研究。研究者可以使用该数据集来训练和验证各种深度学习模型，包括基于帧的模型、可学习模型、基于令牌的模型和基于脉冲的模型。数据集的详细注释和多样性使得研究者能够探索不同条件下的模型性能，如相机运动、光照条件和动作范围等。通过使用DailyDVS-200，研究者可以开发和优化事件相机在动作识别中的应用，推动该领域的发展。

背景与挑战

背景概述

DailyDVS-200 数据集由西安电子科技大学计算机科学与技术学院的研究团队于2024年创建，旨在解决事件相机在动作识别领域中的应用挑战。事件相机通过捕捉像素亮度变化，具有极高的动态范围、低延迟和能效，与传统基于帧的相机形成鲜明对比。该数据集包含了200个动作类别，涵盖了真实世界中的多种场景，由47名参与者录制，包含超过22,000个事件序列。每个序列都标注了14个属性，确保了对录制动作的详细描述。DailyDVS-200 数据集的推出，为事件相机在动作识别领域的研究提供了坚实的基础，推动了该领域的发展。

当前挑战

DailyDVS-200 数据集在构建过程中面临多重挑战。首先，事件相机捕捉的数据具有异步性和离散性，难以直接用于训练，需要转换为合适的表示形式。其次，现有的事件数据集多为合成数据或通过转换传统视频数据生成，难以在实际应用中达到真实事件数据的效果。此外，事件相机在动态环境中的表现受限于背景噪声和光照条件的变化，这些因素影响了数据的完整性和识别的准确性。最后，当前的动作识别模型在处理动态相机捕捉的数据时表现不佳，表明现有模型在处理事件数据时仍存在局限性，需要进一步的研究和改进。

常用场景

经典使用场景

DailyDVS-200数据集在事件相机领域中被广泛用于动作识别任务。其经典使用场景包括智能监控、视频理解和人机交互等。通过捕捉高动态范围、低延迟和高效能的事件流数据，该数据集为开发鲁棒的动作识别框架提供了坚实的基础。

衍生相关工作

基于DailyDVS-200数据集，研究者们开发了多种事件相机相关的经典工作。例如，通过该数据集，研究者们探索了事件流的帧表示、可学习表示、令牌表示和脉冲表示等多种方法，推动了事件相机在动作识别领域的技术进步和创新。

数据集最近研究