NTU Dataset

NTU数据集是一个包含多个视频的数据集，记录了60种不同的人类动作，每个动作由3个摄像头从不同角度拍摄。数据文件包含每帧的人体骨骼坐标。

The NTU Dataset is a video dataset containing multiple video recordings, which documents 60 distinct human actions. Each action is captured by three cameras from different angles. The data files include human skeleton coordinates for every frame.

原始信息汇总

NTU 数据集概述

数据集描述

NTU 数据集是一个包含多种人体动作视频的集合。每个动作由3个摄像头记录。

记录的动作列表

1. 喝水
2. 吃饭/吃零食
3. 刷牙
4. 梳头
5. 掉落
6. 捡起
7. 扔
8. 坐下
9. 从坐姿站起来
10. 鼓掌
11. 阅读
12. 写作
13. 撕纸
14. 穿夹克
15. 脱夹克
16. 穿鞋
17. 脱鞋
18. 戴眼镜
19. 摘眼镜
20. 戴帽子/ cap
21. 摘帽子/ cap
22. 加油
23. 挥手
24. 踢东西
25. 放入口袋/从口袋取出东西
26. 单脚跳
27. 跳起
28. 打电话/接电话
29. 玩手机/平板
30. 键盘打字
31. 用手指指向某物
32. 自拍
33. 看时间（从手表）
34. 搓手
35. 点头/鞠躬
36. 摇头
37. 擦脸
38. 敬礼
39. 手掌合十
40. 双手交叉在前（说停）
41. 打喷嚏/咳嗽
42. 蹒跚
43. 跌倒
44. 摸头（头痛）
45. 摸胸（胃痛/心痛）
46. 摸背（背痛）
47. 摸脖子（脖子痛）
48. 恶心或呕吐
49. 使用风扇（用手或纸）/感觉热
50. 打/扇别人
51. 踢别人
52. 推别人
53. 拍别人背
54. 用手指指向别人
55. 拥抱别人
56. 给别人东西
57. 摸别人的口袋
58. 握手
59. 向彼此走去
60. 从彼此走开

文件命名规则

每个文件根据以下信息命名：

• 设置编号
• 摄像头ID
• 表演者ID
• 复制编号
• 动作类别标签

文件内容

每个文件包含每帧人体骨骼的坐标。代码中保留了前3列坐标，用于训练神经网络。

搜集汇总

数据集介绍

构建方式

NTU数据集通过多摄像机系统构建，涵盖了多种日常人体动作。每个动作由三个不同角度的摄像机同时记录，确保数据的多样性和完整性。数据集中的每个文件以特定的命名规则标识，包括设置编号、摄像机ID、表演者ID、复制次数和动作类别标签。文件内容包含每帧中人体骨骼的坐标信息，经过预处理后，仅保留前三个关键列用于神经网络训练，从而简化了数据结构并提高了处理效率。

特点

NTU数据集的显著特点在于其多摄像机视角和丰富的动作类别。通过三个摄像机的同步记录，数据集提供了多角度的动作捕捉，增强了数据的立体感和真实性。此外，数据集涵盖了从日常行为到复杂互动的60种不同动作，为动作识别和行为分析提供了广泛的应用场景。数据格式的精简处理也使得该数据集在机器学习模型训练中具有较高的实用性和效率。

使用方法

NTU数据集适用于多种机器学习和深度学习任务，特别是动作识别和行为分析。使用者可以通过提供的Python代码对数据进行管理和清洗，提取出适合训练的骨骼坐标信息。数据集的文件命名规则和结构化数据格式使得数据加载和处理变得简单直接。用户可以根据需求选择特定的动作类别或摄像机视角进行训练，结合神经网络模型进行动作识别和行为预测，从而在人机交互、健康监测等领域实现应用。

背景与挑战

背景概述

NTU数据集是由多个视频组成的集合，专注于记录多种人类动作。该数据集由三个摄像头同时捕捉每个动作，涵盖了从日常行为如饮水、吃饭到复杂动作如打拳、拥抱等共计60种动作类别。每个视频文件根据设置编号、摄像头ID、表演者ID、复制次数和动作类别标签进行命名，并包含每帧的人体骨骼坐标信息。NTU数据集的创建旨在为动作识别和人体行为分析提供一个全面且多样化的数据资源，对于推动计算机视觉和人工智能在人体动作理解领域的研究具有重要意义。

当前挑战

NTU数据集在构建过程中面临多项挑战。首先，多摄像头同步捕捉动作要求高精度的设备和复杂的同步技术，以确保数据的准确性和一致性。其次，数据集包含的动作种类繁多，从简单的日常动作到复杂的社交互动，这增加了数据标注和分类的难度。此外，处理和清理大量视频数据以提取有用的骨骼坐标信息，也是一个技术上的挑战。这些挑战不仅涉及到数据采集和处理的技术问题，还包括如何确保数据的质量和一致性，以便于后续的模型训练和验证。

常用场景

经典使用场景

NTU数据集在人体动作识别领域中具有广泛的应用，其经典使用场景包括基于视频的人体动作分类与识别任务。通过分析视频中的人体骨骼坐标，研究人员可以构建深度学习模型，以识别和分类多种日常行为，如喝水、阅读、打电话等。该数据集的多摄像头视角设计进一步增强了模型的鲁棒性，使其在复杂场景下的动作识别任务中表现出色。

解决学术问题

NTU数据集解决了人体动作识别领域中的多个关键学术问题，包括多视角动作识别、复杂动作序列的时序建模以及跨摄像头视角的动作一致性问题。通过提供多摄像头视角的骨骼坐标数据，该数据集为研究者提供了一个标准化的基准，推动了动作识别算法的发展，特别是在处理视角变化和动作多样性方面取得了显著进展。

衍生相关工作

NTU数据集的发布催生了一系列相关研究工作，推动了人体动作识别领域的快速发展。许多研究者基于该数据集提出了新的算法和模型，如基于图卷积网络的动作识别方法、多视角融合技术以及时序动作检测算法。这些工作不仅提升了动作识别的准确性，还为跨领域应用提供了新的思路，如在医疗、体育和娱乐等领域的动作分析与评估。