ACTIVE

ACTIVE（Action from Robotic View）是一个专为移动服务机器人感知视角设计的大规模数据集，包含30个复合动作类别、80名参与者和46,868个注释视频实例，涵盖RGB和点云两种模态。参与者在不同环境中执行各种人类动作，距离从3米到50米不等，同时摄像机平台也是移动的，模拟了机器人感知的真实场景。该数据集旨在推动自然人机交互（N-HRI）中的动作和属性识别研究。ACTIVE (Action from Robotic View) is a large-scale dataset specifically designed for the perception perspective of mobile service robots. It consists of 30 complex action categories, 80 participants, and 46,868 annotated video instances, covering two modalities: RGB and point cloud. Participants perform various human actions in different environments, with distances ranging from 3 meters to 50 meters. Additionally, the camera platform is mobile, simulating the real-world scenarios of robot perception. This dataset is intended to advance research on action and attribute recognition in natural human-robot interaction (N-HRI).

原始信息汇总

ACTIVE: Action from Robotic View 数据集概述

📜 数据集简介

• 目的：为自然人机交互（N-HRI）中的机器人视角动作识别提供支持。
• 特点：
  • 包含30个复合动作类别。
  • 80名参与者。
  • 46,868个标注视频实例。
  • 涵盖RGB和点云两种模态。
  • 动作距离范围：3m至50m。
  • 模拟机器人移动感知场景，包含不同相机高度。

📊 数据集详情

• 下载地址：Hugging Face数据集下载
• 评估协议：
  • 交叉主体评估：
    • 训练集：53名参与者（ID列表见原始文档）。
    • 测试集：27名参与者。

⚙️ 使用方法

• 训练： bash python train.py --config cfgs/active_pc_config.yaml --data_path /path/to/your/active_dataset

• 评估： bash python test.py --config cfgs/active_pc_config.yaml --data_path /path/to/your/active_dataset --checkpoint /path/to/your/model.pth

📄 相关论文

• 标题：Recognizing Actions from Robotic View for Natural Human-Robot Interaction
• 会议：ICCV 2025
• arXiv链接：arXiv:2507.22522

🙏 致谢

• 基于PSTNet的代码库。

搜集汇总

数据集介绍

构建方式

ACTIVE数据集的构建充分考虑了自然人机交互（N-HRI）场景的复杂性，通过模拟移动服务机器人的感知视角，采集了46,868个标注视频实例。研究团队招募了80名参与者在多样化环境中执行30类复合动作，拍摄距离覆盖3米至50米范围，并特别设计了移动摄像平台以模拟机器人运动时的不规则地面高度变化。数据采集同时涵盖RGB和点云两种模态，通过交叉受试者评估协议将参与者划分为53人的训练集和27人的测试集，确保了数据的全面性和评估的严谨性。

特点

该数据集的核心价值在于其针对机器人视角的特殊设计，包含远距离动作识别、移动平台干扰等现实挑战。相较于传统动作识别数据集，ACTIVE提供了更丰富的环境多样性、多模态数据以及复合动作类别，其中30类动作涵盖从基础肢体动作到复杂交互行为。数据集特别模拟了机器人运动时因地面不平造成的视角变化，这种动态感知场景的设置显著提升了数据集的实用价值，为移动机器人环境下的动作识别研究设立了新基准。

使用方法

使用者可通过Hugging Face平台获取数据集，官方提供的PyTorch实现包含完整的训练和评估流程。数据预处理阶段需配置Python 3.8+环境和CUDA 11.3+支持，通过安装定制化的PointNet++层和k近邻CUDA算子来处理点云数据。训练时需指定配置文件和数据路径，支持通过YAML文件灵活调整模型参数。评估阶段则需加载预训练模型权重，系统会自动按照既定协议在测试集上验证性能，这种模块化设计使得研究者能快速开展对比实验和方法改进。

背景与挑战

背景概述

ACTIVE数据集由Wang等研究团队于2025年提出，旨在推动自然人机交互（N-HRI）领域中的动作识别研究。该数据集聚焦于机器人视角下的人类动作感知问题，弥补了传统动作识别基准在动态机器人平台、远距离观测及复杂环境适应性等方面的不足。作为ICCV 2025收录的研究成果，ACTIVE包含30类复合动作、80名参与者的46,868段多模态视频数据，涵盖3米至50米动态观测范围，并创新性地整合RGB与点云数据。其核心价值在于首次系统性地建立了面向移动服务机器人的感知基准，为机器人实时理解人类行为提供了关键数据支撑。

当前挑战

ACTIVE数据集面临双重挑战：在领域问题层面，需解决机器人移动视角导致的运动模糊、视角突变及远距离动作特征衰减等难题，同时需处理动态环境中人体动作与机器人自身运动的运动学耦合干扰；在构建层面，数据采集需协调大规模参与者（80人）在多样化场景（室内外、不同光照地形）中完成复合动作，并同步高精度点云与RGB数据，标注过程中还需处理多模态数据的时间对齐问题。这些挑战使得该数据集成为当前N-HRI领域最具复杂性和实用性的基准之一。

常用场景

经典使用场景

在自然人机交互（N-HRI）领域，ACTIVE数据集为研究者提供了一个独特的视角，专注于从机器人视角识别人类动作。该数据集通过模拟移动服务机器人在不同距离和环境下的感知场景，涵盖了30种复合动作类别和46,868个标注视频实例。其经典使用场景包括在动态环境中训练和评估动作识别模型，特别是在机器人移动或静止状态下对远距离动作的精准识别。

实际应用

ACTIVE数据集的实际应用主要集中在服务机器人领域，例如家庭助理机器人、医疗护理机器人和工业协作机器人。这些机器人需要在动态环境中准确识别人类的动作意图，以实现高效的自然交互。数据集中的远距离动作识别能力尤其适用于监控和安防场景，帮助机器人在大范围内感知人类行为。

衍生相关工作

ACTIVE数据集衍生了一系列经典研究工作，其中最具代表性的是ACTIVE-PC方法。该方法通过多级邻域采样、分层识别器和弹性椭圆查询等技术，显著提升了远距离动作识别的准确性。此外，该数据集还激发了其他研究团队在机器人视角动作识别领域的创新，例如基于点云的动作分析方法和多模态融合技术的改进。