Awesome-Skeleton-Based-Models

这是一个关于骨架相关模型的系统化资源合集，主要收录骨架动作识别、3D姿态估计、骨架行人重识别、骨架手势识别、骨架步态识别等领域的多个数据集。合集整理了来自顶级会议和期刊的数据集资源，并包含相关论文、代码和排行榜，覆盖了70多个骨架动作识别数据集和13个3D姿态估计数据集。This is a systematic resource collection for skeleton-related models, which primarily compiles multiple datasets across fields including skeleton-based action recognition, 3D pose estimation, skeleton-based person re-identification, skeleton-based gesture recognition, skeleton-based gait recognition and other related domains. The collection curates dataset resources from top-tier conferences and journals, and also provides associated papers, code and leaderboards, covering over 70 skeleton-based action recognition datasets and 13 3D pose estimation datasets.

原始信息汇总

数据集详情总结：Awesome-Skeleton-Based-Models

该页面是一个基于骨架的模型（Skeleton-Based Models）资源汇总项目，收集了在顶级会议和期刊上发表的 369 篇以上论文及代码，覆盖多个研究领域。

资源覆盖领域

• 骨架跟踪（Skeleton Tracking）：涵盖 Microsoft Kinect 及其他跟踪设备。
• 基于骨架的动作识别（Skeleton-Based Action Recognition）：包含 70 个数据集，时间跨度 2013–2022 年。
• 3D 姿态估计（3D Pose Estimation）：包含 13 个数据集。
• 基于骨架的行人重识别（Skeleton-Based Person Re-Identification）：包含 6 个数据集。
• 待扩展领域：手势识别、步态识别、运动预测、交互识别等。

动作识别数据集示例

页面以表格形式详细列举了 70 个动作识别数据集的关键统计信息，包括年份、模态、类别数、受试者数、样本数和视角数。其中最常用的数据集（加粗标识）包括：

数据集	年份	模态	类别数	样本数
NTU RGB+D	2016	RGB, S, D, IR	60	56,880
NTU RGB+D 120	2019	RGB, S, D, IR	120	114,480
MSR-Action3D	2010	S, D	20	567
Kinetics-400/600/700	2017–2019	RGB	400–700	30万–65万

综述论文

• Human Action Recognition and Prediction: A Survey (IJCV 2022)
• Human Action Recognition from Various Data Modalities: A Review (TPAMI 2022)

排行榜

页面为以下子任务提供了排行榜（Leaderboards）：

• NTU RGB+D 与 NTU RGB+D 120 数据集上的动作识别
• 3D 姿态估计
• 基于骨架的行人重识别

搜集汇总

数据集介绍

构建方式

在人体姿态估计与行为识别领域，骨架数据因其对光照、衣着等外观变化的不变性而备受青睐。Awesome-Skeleton-Based-Models 数据集通过系统梳理计算机视觉与人工智能领域顶级会议（如CVPR、ICCV、ECCV、AAAI、NeurIPS等）及权威期刊（如TPAMI、IJCV、TIP等）中已发表的369余篇基于骨架的模型论文与对应代码，构建了一个全面且结构化的知识库。该数据集按研究主题划分为骨架跟踪、基于骨架的动作识别、3D姿态估计以及基于骨架的人员重识别等子目录，每个子目录下进一步按年份和数据集进行精细归类，确保了信息的层次分明与检索便捷。

特点

该数据集的核心特点在于其广泛的覆盖范围与高度的时效性。它不仅汇集了从2013年至2022年间发布的70个动作识别数据集（如NTU RGB+D、Kinetics系列等）的详尽统计信息与引用情况，还囊括了针对每个子任务（如对抗攻击下的骨架动作识别、实时3D姿态估计）的最新研究进展。此外，数据集特别提供了NTU-RGB+D和NTU-RGB+D 120等关键基准数据集上的排行榜，便于研究者快速定位当前最优方法。这种从论文列表到代码链接、再到性能排名的全方位整合，使其成为骨架模型研究领域不可或缺的索引资源。

使用方法

研究者可通过访问该数据集的GitHub仓库，直接浏览各子目录下的分类列表。例如，在‘Skeleton-Based Action Recognition’目录中，用户能依据年份或特定数据集（如NTU RGB+D 120）快速筛选出相关论文，并直接获取论文标题、发表会议/期刊及代码链接。对于需要对比模型性能的用户，可直接查阅内置的排行榜（Leaderboards）部分。同时，数据集还维护了‘Skeleton Tracking’等辅助模块，为从数据采集到模型评估的完整研究流程提供了便捷的导航入口。

背景与挑战

背景概述

人体骨架序列分析作为计算机视觉领域的重要分支，通过捕捉关节点时空动态特征，为行为理解提供了兼具鲁棒性与轻量级优势的技术路径。Awesome-Skeleton-Based-Models项目由研究者Kali-Hac于近年创建，系统整理了2013年至2022年间发表在CVPR、ICCV、ECCV、TPAMI等顶级会议与期刊上的369余篇基于骨架的模型论文及代码。该项目围绕骨架动作识别、三维姿态估计、骨架行人重识别等核心研究问题，构建了涵盖70个动作识别数据集、13个姿态估计数据集及6个行人重识别数据集的资源体系，其中NTU RGB+D、Kinetics系列等标杆数据集被广泛采用。该资源库通过结构化分类与性能排行榜，显著降低了领域入门门槛，推动了基于骨架的人体行为理解研究从单一模态向多模态融合的范式演进。

当前挑战

该领域面临的挑战首先体现为动作识别任务中骨架数据的时空建模难题：如何有效捕获关节间长程依赖关系与动作序列的多尺度时间动态，仍是制约模型泛化能力的关键瓶颈。其次，三维姿态估计面临遮挡、视角变化及真实场景中传感器噪声的干扰，现有方法在户外非受控环境下的鲁棒性亟待提升。在数据集构建层面，标注大规模骨架数据需要昂贵的动作捕捉设备与人工校正流程，导致NTU RGB+D 120等数据集虽包含114,480个样本，但动作类别仍局限于120类日常行为，难以覆盖长尾分布下的细粒度动作。此外，跨数据集迁移时存在的视角、帧率与关节点定义不一致问题，对模型通用性构成了严峻考验。

常用场景

经典使用场景

在计算机视觉与行为理解领域，基于骨架的动作识别是最为经典且广泛探索的研究场景。该数据集索引体系以NTU RGB+D、NTU RGB+D 120等大规模多视角骨架数据集为核心，为研究者提供了从稀疏关节点序列中解析复杂人体运动模式的标准化基准。通过图卷积网络（GCN）与时空注意力机制的深度融合，模型能够从骨架拓扑结构中捕捉关节间的协同运动规律，从而在跨视角、跨主体的动作分类任务中取得突破性进展。这一场景不仅推动了从单帧姿态估计到长时序动作理解的范式演进，更成为验证新型时空建模理论有效性的关键试验场。

解决学术问题

该数据集资源系统性地解决了人体行为分析领域中多模态数据融合与骨架表征学习的核心学术难题。传统基于RGB视频的方法易受光照、遮挡与背景噪声干扰，而骨架数据凭借其固有的拓扑抽象性与视角不变性，为构建鲁棒的动作识别模型提供了理想输入。研究者得以深入探究时空图卷积、自注意力机制以及对比学习在骨骼序列建模中的理论边界，显著提升了模型在跨数据集泛化与细粒度动作区分上的性能表现。这一贡献不仅深化了对人体运动动力学本质的科学认知，更奠定了从实验室环境迈向真实复杂场景应用的理论基石。

衍生相关工作

该数据集资源衍生了一系列具有深远影响力的经典工作，构成了骨架研究领域的学术谱系。在动作识别方向，ST-GCN开创性地将图卷积引入时空建模，成为后续所有基于骨架的深度学习方法的基石；随后，2s-AGCN通过自适应图拓扑学习进一步释放了模型的表征能力。在姿态估计领域，SimpleBaseline与VideoPose3D等模型以简洁高效的架构验证了时序卷积在3D人体关节点重建中的优越性。此外，针对骨架数据的对抗攻击与防御研究（如Skeleton-Attack）开辟了安全鲁棒性这一全新研究方向，推动了整个领域方法论边界的持续拓展。