ACTIVE (Action from Robotic View)

ACTIVE数据集是一个专为自然人与机器人交互（N-HRI）设计的多模态大规模数据集。该数据集由北京大学深圳研究生院国家人工智能基础重点实验室创建，包含了30个复合动作类别、80名参与者和46868个标注视频实例，涵盖了RGB和点云两种模态。参与者在不同环境下（室内外、昼夜）从3米到50米的距离范围内执行了各种人类动作，同时模拟了机器人运动，以模拟真实世界的场景。ACTIVE数据集旨在促进N-HRI场景中的人体动作和属性识别研究，为开发适应性强且智能的N-HRI系统提供支持。The ACTIVE Dataset is a large-scale multimodal dataset specifically designed for natural human-robot interaction (N-HRI). It was created by the State Key Laboratory of Artificial Intelligence Fundamentals, Peking University Shenzhen Graduate School. This dataset includes 30 composite action categories, 80 participants and 46,868 annotated video instances, covering two modalities: RGB and point cloud. Participants perform various human actions in diverse environments (indoor, outdoor, day and night) at distances ranging from 3 meters to 50 meters, while robot movements are simulated to replicate real-world scenarios. The ACTIVE Dataset aims to promote research on human action and attribute recognition in N-HRI scenarios, and provide support for the development of adaptable and intelligent N-HRI systems.

原始信息汇总

ACTIVE: Action from Robotic View 数据集概述

📜 数据集背景

• 目的：为自然人机交互（N-HRI）中的机器人视角动作识别提供支持。
• 挑战：传统动作识别基准无法解决N-HRI中的独特复杂性，如距离变化、机器人运动状态等。
• 解决方案：引入ACTIVE数据集，专注于移动服务机器人视角下的动作识别。

📊 数据集详情

• 动作类别：30种复合动作类别。
• 参与者：80人。
• 视频实例：46,868个带标注的视频实例。
• 模态：包含RGB和点云数据。
• 环境多样性：不同环境下进行动作，距离范围3m至50m。
• 相机平台：模拟真实机器人感知场景，相机高度因地面不平而变化。

🚀 数据集使用

• 下载地址：Hugging Face数据集下载
• 评估协议：采用跨主体评估协议。
  • 训练集：53名参与者（ID列表见原文）。
  • 测试集：27名参与者。

⚡️ 使用方法

• 训练：使用train.py脚本，指定配置文件和数据集路径。
• 评估：使用test.py脚本，指定配置文件、数据集路径和模型检查点。

🙏 致谢

• 基于PSTNet的代码库构建。

✍️ 引用

• 引用信息即将发布。

搜集汇总

数据集介绍

构建方式

ACTIVE数据集的构建过程充分考虑了自然人机交互（N-HRI）场景的复杂性，采用多模态传感器协同采集策略。研究团队通过移动式相机平台和LiDAR传感器，在3米至50米的动态距离范围内捕捉了80名参与者在6种不同环境（室内/室外、白天/夜晚）中执行的30类复合动作。数据采集过程中模拟了机器人平台运动带来的运动干扰，并允许环境中的车辆行人等自然扰动，共获得46,868个标注视频实例。点云数据采用HESAI AT128P LiDAR采集，水平视场角120°，垂直分辨率0.2°；RGB视频以1280×720分辨率30fps录制，构建了包含时空扰动特性的多模态基准数据集。

特点

该数据集的核心特征体现在三维度创新：空间维度上覆盖3-50米超长距离动作识别，解决传统数据集固定拍摄距离的局限；模态维度同步提供RGB视频与高精度点云数据，LiDAR点云保留远距离几何特征，RGB补充近景纹理信息；动态维度首创移动平台采集模式，通过相机抖动和场景震动模拟真实机器人运动干扰。数据样本包含30类复合动作（如行走+挥手）、46,868个视频实例，且特别标注参与者性别、衣着等属性信息，形成当前唯一针对移动服务机器人感知视角的大规模N-HRI数据集。

使用方法

使用ACTIVE数据集需遵循其特有的评估协议：动作识别采用跨主体验证策略，将80名参与者按53:27划分为训练集与测试集，以分类准确率为核心指标。研究者可通过两种模态开展实验：点云模态需先使用TransFusion方法检测场景中人体，将序列分割为768点的固定长度片段；RGB模态建议采用均匀分段采样，每段随机选取224×224分辨率帧。配套提出的ACTIVE-PC框架提供基准方案，其多层次邻域采样（MNS）处理多尺度点云，弹性椭圆查询（EEQ）解耦运动干扰，分层识别器（LR）分别处理全局运动与局部动作特征，为复杂N-HRI场景下的算法开发提供结构化参考。

背景与挑战

背景概述

ACTIVE数据集由北京大学深圳研究生院通用人工智能国家重点实验室等机构的研究团队于2025年提出，旨在解决自然人机交互（N-HRI）场景中机器人视角下的动作识别难题。作为首个面向移动服务机器人感知视角的大规模多模态数据集，其核心研究问题聚焦于动态距离（3-50米）、平台运动和环境变化等复杂条件下的人类动作理解。数据集包含30类复合动作、80名参与者及46,868个标注视频实例，涵盖RGB与点云两种模态，通过模拟真实场景中机器人移动时的不平坦地面和视角变化，显著推进了N-HRI领域的研究进程。

当前挑战

该数据集面临双重挑战：在领域问题层面，需解决长距离（如50米）下细微动作捕捉的精度问题，以及机器人平台运动引起的运动学干扰与人类动作的精准解耦；在构建过程中，需克服多环境（室内外/昼夜）、动态距离变化带来的数据采集复杂性，以及LiDAR与RGB传感器在多模态数据同步与标注上的技术难题。此外，复合动作类别设计需平衡真实场景复杂度与标注可行性，而移动平台引入的视角抖动进一步增加了数据质量的管控难度。

常用场景

经典使用场景

在自然人机交互（N-HRI）领域，ACTIVE数据集被广泛应用于机器人视角下的人类动作识别研究。其独特之处在于模拟了真实世界中移动服务机器人的感知场景，涵盖了3米至50米不同距离下的30种复合动作类别。数据集通过RGB和点云双模态数据，为研究者提供了处理动态视角变化、机器人运动干扰等复杂场景的基准平台，尤其适用于开发长距离、抗干扰的动作识别算法。

实际应用

该数据集已成功应用于服务机器人、公共安全监控等实际场景。例如在医疗陪护机器人中，通过解析远距离微小动作实现非接触式健康监测；在安防巡逻场景下，结合点云模态的强抗干扰特性，实现了复杂光照环境中的人类异常行为检测。其多环境（室内/外、昼夜）采集特性显著提升了算法在真实世界的泛化能力。

衍生相关工作

基于ACTIVE数据集衍生的ACTIVE-PC框架成为该领域的经典工作，其提出的多级邻域采样（MNS）和弹性椭圆查询（EEQ）方法被后续研究广泛借鉴。相关成果进一步推动了《3Dinaction》等动态点云分析模型的演进，并在NTU RGB+D等通用数据集上实现迁移改进，形成跨模态动作理解的系列研究脉络。