GTU3DActions, NTU RGB+D, MSRAction3D, Florence_3D_Actions

github2024-03-04 更新2024-05-31 收录

下载链接：

https://github.com/SeymaYucer/ActionDatasetLoader

下载链接

链接失效反馈

官方服务：

资源简介：

包含多个公共可用的人类动作数据集，每个数据集详细描述了动作数量、参与者数量、3D关节数量和具体动作类别。

This dataset encompasses multiple publicly available human action datasets, each of which provides detailed descriptions of the number of actions, the number of participants, the count of 3D joints, and the specific categories of actions.

创建时间：

2017-02-23

原始信息汇总

数据集概述

GTU3DActions

动作数量: 508
参与者数量: 8
3D关节数量: 25
动作类别数量: 14
具体动作:
1. 打开和关闭手臂 (37)
2. 右手摇动 (40)
3. 左右腰部伸展 (42)
4. 行走 (32)
5. 弯曲左或右腿 (25)
6. 弯曲左或右腿 (27)
7. 左手摇动 (38)
8. 一次右左步 (39)
9. 蹲下 (38)
10. 站在沙袋上 (39)
11. 坐下并鼓掌 (39)
12. 弯腰 (37)
13. 左右8步动作 (26)
14. 颈部放松 (49)

NTU RGB+D

动作数量: 56,880
参与者数量: 17
3D关节数量: 25
动作类别数量: 60
具体动作:
1. 喝水
2. 吃餐/零食
3. 刷牙
4. 梳头
5. 掉落
6. 捡起
7. 投掷
8. 坐下
9. 从坐姿站起
10. 鼓掌
11. 阅读
12. 写作
13. 撕纸
14. 穿夹克
15. 脱夹克
16. 穿鞋
17. 脱鞋
18. 戴眼镜
19. 摘眼镜
20. 戴帽子/帽
21. 脱帽子/帽
22. 欢呼
23. 挥手
24. 踢东西
25. 放入口袋/从口袋取出
26. 单脚跳
27. 跳跃
28. 打电话/接电话
29. 玩手机/平板
30. 打字
31. 指向某物
32. 自拍
33. 看时间
34. 搓手
35. 点头/鞠躬
36. 摇头
37. 擦脸
38. 敬礼
39. 合掌
40. 交叉手前
41. 打喷嚏/咳嗽
42. 蹒跚
43. 跌倒
44. 摸头
45. 摸胸
46. 摸背
47. 摸颈
48. 恶心或呕吐
49. 使用扇子
50. 打人/拍人
51. 踢人
52. 推人
53. 拍背
54. 指人
55. 拥抱人
56. 给人东西
57. 摸人口袋
58. 握手
59. 向对方走去
60. 从对方走开

MSRAction3D

动作数量: 567
参与者数量: 10
3D关节数量: 20
动作类别数量: 20
具体动作:
1. 高臂波浪
2. 水平臂波浪
3. 锤子
4. 手抓
5. 前冲
6. 高抛
7. 画X
8. 画勾
9. 画圈
10. 鼓掌
11. 双臂波浪
12. 侧拳
13. 弯曲
14. 前踢
15. 侧踢
16. 慢跑
17. 网球挥拍
18. 网球发球
19. 高尔夫挥杆
20. 捡起并投掷

Florence_3D_Actions

动作数量: 215
参与者数量: 10
3D关节数量: 15
动作类别数量: 9
具体动作:
1. 挥手
2. 从瓶子喝水
3. 回答
4. 鼓掌
5. 紧鞋带
6. 坐下
7. 站起
8. 阅读
9. 鞠躬

搜集汇总

数据集介绍

构建方式

GTU3DActions、NTU RGB+D、MSRAction3D和Florence_3D_Actions数据集均通过捕捉人体动作的三维关节数据构建而成。这些数据集利用深度传感器或动作捕捉设备，记录不同受试者在执行特定动作时的关节位置信息。GTU3DActions包含508个动作，涉及8名受试者和14个动作类别；NTU RGB+D则涵盖了56,880个动作，涉及17名受试者和60个动作类别；MSRAction3D记录了567个动作，涉及10名受试者和20个动作类别；Florence_3D_Actions包含215个动作，涉及10名受试者和9个动作类别。每个数据集均通过标准化流程进行数据采集和标注，确保了数据的一致性和可重复性。

特点

这些数据集的特点在于其丰富的动作类别和多样化的受试者群体。GTU3DActions专注于14个基本动作类别，每个动作类别下的样本数量较为均衡；NTU RGB+D以其庞大的数据量和广泛的动作类别著称，涵盖了日常生活中的多种行为；MSRAction3D则聚焦于20个特定的动作类别，数据量适中，适合进行精细的动作分析；Florence_3D_Actions虽然数据量较小，但其动作类别简洁明了，适合进行快速验证和实验。所有数据集均提供了详细的三维关节数据，为动作识别和分析提供了坚实的基础。

使用方法

这些数据集的使用方法主要包括数据加载、预处理和模型训练。用户可以通过提供的Python脚本加载数据集，获取每个动作的三维关节数据。在预处理阶段，用户可以对数据进行归一化、去噪等操作，以提高模型的训练效果。随后，用户可以利用这些数据训练动作识别模型，如卷积神经网络（CNN）或循环神经网络（RNN），并进行模型评估和优化。此外，这些数据集还可用于跨数据集验证，以评估模型的泛化能力。通过合理利用这些数据集，用户可以在动作识别领域取得显著的研究进展。

背景与挑战

背景概述

GTU3DActions、NTU RGB+D、MSRAction3D和Florence_3D_Actions数据集是人体动作识别领域的重要资源，广泛应用于计算机视觉和机器学习研究。GTU3DActions数据集由土耳其盖布泽技术大学于2014年发布，包含508个动作样本，涵盖14种动作类别，旨在研究人体动作的3D关节数据表示。NTU RGB+D数据集由南洋理工大学于2016年推出，包含56,880个动作样本，涵盖60种动作类别，是目前规模最大、多样性最丰富的人体动作数据集之一。MSRAction3D数据集由微软亚洲研究院于2010年发布，包含567个动作样本，涵盖20种动作类别，专注于简单动作的识别。Florence_3D_Actions数据集由佛罗伦萨大学于2012年发布，包含215个动作样本，涵盖9种动作类别，主要用于研究日常动作的识别。这些数据集为人体动作识别算法的开发与评估提供了重要支持，推动了相关领域的研究进展。

当前挑战

这些数据集在解决人体动作识别问题时面临多重挑战。首先，动作的多样性和复杂性使得模型难以准确捕捉细微的动作差异，尤其是在多视角、多环境下的动作识别任务中。其次，数据标注的准确性和一致性对模型性能至关重要，但人工标注过程中可能存在主观偏差和误差。此外，数据集的规模和质量直接影响模型的泛化能力，小规模数据集可能导致过拟合问题。在构建过程中，研究人员还需克服数据采集设备的限制，例如传感器的精度和采样频率，以及如何处理噪声和缺失数据。最后，跨数据集的迁移学习和模型泛化能力也是当前研究的难点，不同数据集之间的数据分布差异可能影响模型的适应性。

常用场景

经典使用场景

GTU3DActions、NTU RGB+D、MSRAction3D和Florence_3D_Actions数据集在人体动作识别领域具有广泛的应用。这些数据集通过捕捉不同场景下的3D关节数据，为研究者提供了丰富的动作样本。经典的使用场景包括动作分类、动作检测和动作生成。研究者可以利用这些数据集训练深度学习模型，以识别和分类复杂的动作序列。例如，NTU RGB+D数据集因其大规模的动作样本和多样化的动作类别，常被用于评估动作识别算法的性能。

衍生相关工作

这些数据集衍生了许多经典的研究工作。例如，基于NTU RGB+D数据集，研究者提出了多种深度学习模型，如时空图卷积网络（ST-GCN），显著提升了动作识别的准确率。MSRAction3D数据集则催生了多视角动作识别算法，解决了单一视角下的识别局限性。此外，GTU3DActions和Florence_3D_Actions数据集也推动了动作生成和动作预测领域的研究，如生成对抗网络（GAN）在动作生成中的应用。这些研究工作不仅推动了动作识别技术的发展，还为相关领域提供了新的研究思路。

数据集最近研究