NTU RGB+D+Object 60, JXGC 24

NTU RGB+D+Object 60是基于NTU RGB+D 60扩展的数据集，由浙江大学等机构创建，旨在通过引入对象节点来增强骨架动作识别的性能。该数据集包含了超过200万个新增的对象节点，涵盖了13种常见对象的类别和位置信息。数据集的创建过程采用了自训练策略，通过对象检测模型生成对象节点，显著降低了标注成本。该数据集主要用于评估在骨架动作识别中引入对象信息的效果，特别是在涉及对象交互的动作识别任务中。JXGC 24则是专门为工业环境设计的动作识别数据集，用于评估交互节点对动作识别的影响。NTU RGB+D+Object 60 is an extended dataset based on NTU RGB+D 60, developed by institutions including Zhejiang University. It aims to improve the performance of skeleton-based action recognition by introducing object nodes. This dataset contains over 2 million newly added object nodes, covering the category and spatial location information of 13 common object classes. The dataset was constructed using a self-training strategy, where object nodes are generated via object detection models, which significantly reduces annotation costs. This dataset is mainly used to evaluate the effect of integrating object information into skeleton-based action recognition, especially in action recognition tasks involving object interactions. JXGC 24 is an action recognition dataset specifically designed for industrial environments, which is used to assess the impact of interaction nodes on action recognition.

原始信息汇总

ST-VGCN 数据集概述

数据集简介

ST-VGCN 数据集是与论文《Improving Skeleton-based Action Recognition with Interactive Object Information》相关的数据集，主要用于基于骨架的动作识别研究。该数据集包含两个部分：JXGC 24 数据集和 NTU RGB+D+Object 60 数据集的对象标注文件。

数据集内容

1. JXGC 24 数据集

   • 下载链接：https://pan.baidu.com/s/1lP_JCwds0ge0kzrwszwFjQ
   • 提取码：bttc

2. NTU RGB+D+Object 60 数据集的对象标注文件

   • 下载链接：https://pan.baidu.com/s/1bAHrGiEcYcYmywvBmgXO-w
   • 提取码：qgo4

数据集用途

• JXGC 24 数据集：用于基于骨架的动作识别研究，特别是结合交互对象信息的研究。
• NTU RGB+D+Object 60 数据集的对象标注文件：提供对象标注信息，用于增强动作识别的准确性。

数据集获取

数据集通过百度网盘提供，用户可以通过提供的链接和提取码下载相关数据。

搜集汇总

数据集介绍

构建方式

NTU RGB+D+Object 60 和 JXGC 24 数据集的构建基于自训练策略，通过对象检测模型生成对象节点，并利用CLIP文本编码对对象类别属性进行预嵌入。NTU RGB+D+Object 60 扩展了NTU RGB+D 60数据集，新增了超过200万个对象节点，涵盖了13类常见交互对象。JXGC 24 数据集则专注于工业环境中的动作识别，包含家具工厂工人的操作动作，涉及8种不同的工件类别。数据集的构建采用了可变图（Variable Graph）结构，能够自适应处理不同视频或帧中节点数量的变化。

特点

NTU RGB+D+Object 60 和 JXGC 24 数据集的主要特点在于其引入了对象节点信息，丰富了骨架动作识别的上下文。NTU RGB+D+Object 60 数据集通过添加对象的位置和类别信息，显著提升了涉及对象交互的动作识别效果。JXGC 24 数据集则通过双类别维度（动作类别和交互对象类别）的设计，提供了更细粒度的动作分类能力。此外，数据集的可变图结构能够灵活处理不同帧中节点数量的变化，增强了模型的泛化能力。

使用方法

NTU RGB+D+Object 60 和 JXGC 24 数据集的使用方法包括骨架和对象节点的提取、可变图的构建以及动作分类模型的训练。首先，通过姿态估计和对象检测技术提取骨架节点和对象节点，并将其整合为可变图序列。随后，利用空间时间可变图卷积网络（ST-VGCN）对可变图进行建模，结合类属性融合模块（CAF）和加权节点池化模块（WNPool）进行特征提取和融合。最后，通过节点平衡损失（Node Balance Loss）和随机节点攻击（Random Node Attack）策略，优化模型的泛化性能，避免过拟合。

背景与挑战

背景概述

NTU RGB+D+Object 60和JXGC 24数据集是由浙江大学等机构的研究团队于2025年提出的，旨在解决基于骨架的动作识别中人与物体交互信息的缺失问题。该数据集扩展了NTU RGB+D 60数据集，新增了超过200万个物体节点，涵盖了13类常见物体。JXGC 24则专注于工业环境中的特定场景，如家具工厂中的工件处理动作。这些数据集的提出填补了现有骨架数据集中物体交互信息的空白，显著提升了涉及物体交互的动作识别性能。通过引入物体节点，研究团队成功地将物体的位置和类别信息融入骨架图中，为动作识别领域提供了新的研究方向。

当前挑战

NTU RGB+D+Object 60和JXGC 24数据集在构建和应用过程中面临多重挑战。首先，在领域问题方面，传统的骨架动作识别方法主要依赖人体关节信息，忽略了与物体交互的关键信息，导致在涉及物体交互的动作识别中表现不佳。其次，在数据集构建过程中，如何高效标注大量物体节点并确保其与骨架信息的同步是一个技术难点。研究团队采用了自训练策略来生成物体节点，但仍需解决数据偏差和过拟合问题。此外，由于物体节点的数量在不同视频或帧中可能变化，传统的图卷积网络无法直接处理这种可变节点数量的图结构，这要求设计新的图构建和建模方法。最后，如何平衡骨架节点和物体节点的信息融合，避免网络过度依赖物体节点而忽略骨架信息，也是一个亟待解决的挑战。

常用场景

经典使用场景

NTU RGB+D+Object 60 和 JXGC 24 数据集在基于骨架的动作识别领域具有广泛的应用，尤其是在涉及人与物体交互的场景中。这些数据集通过引入物体节点，补充了传统骨架数据中缺失的交互信息，使得模型能够更准确地识别复杂的动作。例如，在区分“阅读”和“书写”这类动作时，物体节点（如书本和笔）的引入显著提升了分类精度。此外，JXGC 24 数据集特别适用于工业环境中的动作识别，如家具工厂中的工件搬运和抛光操作。

衍生相关工作

NTU RGB+D+Object 60 和 JXGC 24 数据集的推出催生了一系列相关研究工作。例如，基于这些数据集，研究者提出了空间时间可变图卷积网络（ST-VGCN），通过引入物体节点和可变图结构，显著提升了动作识别的性能。此外，研究者还提出了随机节点攻击（Random Node Attack）等数据增强方法，解决了引入物体信息后可能导致的过拟合问题。这些工作不仅推动了基于骨架的动作识别技术的发展，还为其他涉及物体交互的计算机视觉任务提供了新的思路。

数据集最近研究

最新研究方向

近年来，基于骨架的动作识别研究逐渐从单一骨架信息扩展到多模态融合，尤其是结合物体交互信息的识别方法成为热点。NTU RGB+D+Object 60和JXGC 24数据集的提出，标志着这一领域的重要进展。通过引入物体节点，研究者能够更全面地捕捉人与物体之间的交互关系，从而提升动作识别的准确性。特别是在工业场景中，如智能工厂的自动化监控，物体交互信息的引入显著提高了复杂动作的识别效果。此外，研究者还提出了时空可变图卷积网络（ST-VGCN），通过可变图结构建模和随机节点攻击等创新方法，解决了传统方法在处理可变节点数量时的局限性，并有效缓解了过拟合问题。这些进展不仅推动了动作识别技术的发展，也为未来在更复杂场景中的应用提供了新的思路。

相关研究论文

• Improving Skeleton-based Action Recognition with Interactive Object Information

  浙江大学航空航天学院, 电子科技大学长三角研究院（湖州）, 宁波工程学院信息科学与工程学院 · 2025年