humanObjectDetection

本数据集用于训练和验证机器学习模型，以区分机器人与三种不同类型物体（人类、铝材和PVC）的接触。数据由Franka Emika Panda机械臂在实时交互中收集，采样率为200Hz。数据集包括85个时间序列用于训练和40个时间序列用于验证。每个时间序列记录了机器人与各自物体之间的多次接触，每个序列添加了3次接触。数据集的创建旨在帮助机器人更好地理解和适应其工作环境，从而提高人机协作的安全性。

原始信息汇总

数据集概述

数据集名称

Contact Interpretation System

依赖库

• numpy==1.19.5
• torch==1.10.1
• pandas==1.1.5
• torchvision==0.11.2
• torchmetrics==0.8.2
• canlib

机器人API

Franka Emika Panda

• franka-interface: Welcome to franka-interface’s Documentation! — franka-interface 1.0.0 documentation (iamlab-cmu.github.io)
• frankapy: Welcome to FrankaPy’s Documentation! — frankapy 1.0.0 documentation (iamlab-cmu.github.io)

Universal Robots

• Universal Robots RTDE: https://sdurobotics.gitlab.io/ur_rtde/

运行机器人和接触检测

Franka Robot

1. 解锁机器人

   • 打开机器人（等待直到显示稳定的黄色）
   • 连接到机器人桌面（ID：172.16.0.2或192.168.15.33）
   • 解锁机器人（灯光应为蓝色）
   • 解锁机器人并激活FCI

2. 运行frankapy

   • 打开终端
   • 激活conda环境：conda activate frankapyenv
   • 运行脚本：bash /home/mindlab/franka/frankapy/bash_scripts/start_control_pc.sh -i localhost

3. 运行数字手套节点

   • 打开另一个终端
   • 设置ROS环境：source /opt/ros/noetic/setup.bash
   • 运行脚本：/home/mindlab/miniconda3/envs/frankapyenv/bin/python /home/mindlab/humanObjectDetection/dataLabeling/sensorNode.py

4. 运行机器人节点

   • 打开另一个终端
   • 激活conda环境：conda activate frankapyenv
   • 设置ROS环境：source /opt/ros/noetic/setup.bash
   • 扩展环境：source /home/mindlab/franka/franka-interface/catkin_ws/devel/setup.bash --extend
   • 扩展环境：source /home/mindlab/franka/frankapy/catkin_ws/devel/setup.bash --extend
   • 运行脚本：/home/mindlab/miniconda3/envs/frankapyenv/bin/python3 /home/mindlab/humanObjectDetection/frankaRobot/main.py

5. 运行保存数据节点

   • 打开另一个终端
   • 设置ROS环境：source /opt/ros/noetic/setup.bash
   • 扩展环境：source /home/mindlab/franka/franka-interface/catkin_ws/devel/setup.bash --extend
   • 扩展环境：source /home/mindlab/franka/frankapy/catkin_ws/devel/setup.bash --extend
   • 运行脚本：/home/mindlab/miniconda3/envs/frankapyenv/bin/python3 /home/mindlab/humanObjectDetection/frankaRobot/saveDataNode.py

修改frankastate发布频率

• 编辑文件：sudo nano /home/mindlab/franka/franka-interface/catkin_ws/src/franka_ros_interface/launch/franka_ros_interface.launch

UR Robot

1. 激活远程控制

   • 从机器人教学面板激活远程控制

2. 运行程序

   • 打开终端
   • 激活conda环境：conda activate frankapyenv
   • 设置ROS环境：source /opt/ros/noetic/setup.bash
   • 运行脚本：/home/mindlab/miniconda3/envs/frankapyenv/bin/python3 /home/mindlab/humanObjectDetection/urRobot/main_ur10.py

记录Franka机器人的新动作

1. 解锁机器人

   • 同Franka Robot步骤1

2. 运行frankapy

   • 同Franka Robot步骤2

3. 运行记录新动作脚本

   • 打开另一个终端
   • 激活conda环境：conda activate frankapyenv
   • 设置ROS环境：source /opt/ros/noetic/setup.bash
   • 扩展环境：source /home/mindlab/franka/franka-interface/catkin_ws/devel/setup.bash --extend
   • 扩展环境：source /home/mindlab/franka/frankapy/catkin_ws/devel/setup.bash --extend
   • 运行脚本：/home/mindlab/miniconda3/envs/frankapyenv/bin/python3 /home/mindlab/humanObjectDetection/frankaRobot/recordNewMotion.py

搜集汇总

数据集介绍

构建方式

humanObjectDetection数据集通过Franka Emika Panda机械臂与三类目标物体（人体模拟臂、PVC管、铝型材）的交互实验构建，采样频率设定为200Hz以捕捉接触动态。数据采集采用压力敏感传感器标记接触时间点，并通过4-6种不同空间配置增强数据多样性。原始时间序列经滑动窗口法预处理，以200ms窗长提取关节扭矩、位置误差及速度误差等21维特征，最终形成包含255个接触事件的训练集与120个验证集样本的标准化矩阵（40×21）。

特点

该数据集的核心价值在于其多类别触觉感知特性，涵盖人体（杨氏模量<0.1GPa）、PVC（3.4GPa）和铝材（68GPa）三类材料的力学响应差异。其显著特点包括：1）通过△offset参数动态调整接触时间窗位置，优化特征提取策略；2）采用固定窗与滑动窗双模式预处理，后者通过△step参数控制重叠率，最高可生成14,587样本量的增强数据集；3）保留原始传感器数据的非归一化特性，实证显示标准化处理会降低模型性能。

使用方法

数据集专为时序分类模型设计，支持LSTM、GRU和Transformer等架构的端到端训练。使用时应遵循以下流程：1）基于滑动窗口策略（推荐△step=1ms, △offset=15ms）重构输入矩阵；2）采用硬投票机制（Np=15）聚合预测结果以提升稳定性；3）实时部署时每5ms执行单次推理，通过3步间隔的异步调用平衡延迟（127-232ms）与准确性。验证表明Transformer模型在该数据集上可达93.04%离线准确率，在线测试中人体识别召回率达100%，满足物理人机协作的安全需求。

背景与挑战

背景概述

humanObjectDetection数据集由苏黎世大学信息学系及瑞士ZHAW机电系统研究所的MindLab团队于2025年创建，旨在推动物理人机协作（pHRC）领域的安全交互研究。该数据集基于Franka Emika Panda机械臂的 proprioceptive 传感数据，包含人类、铝合金和PVC三类接触对象的时序特征，解决了传统二元分类（软/硬物体）在安全性与功能实现上的局限性。其创新性在于首次实现了多类别接触物体的实时识别，准确率达91.11%，为人机协作中的动态反应策略提供了数据基础，相关成果发表于IEEE CASE 2025并开源数据集与代码。

当前挑战

该数据集面临的核心挑战包括：1) 领域问题层面，需克服传统二元分类对非刚性人体部位（如骨骼）和软质工件（如橡胶）的误判风险，同时解决多类物体刚度连续分布导致的分类边界模糊问题；2) 构建过程中，机械臂接触事件的时空特征提取尤为困难，研究团队通过对比固定窗口与滑动窗口策略（最优步长Δstep=4ms），并引入时间绝对位置编码（tAPE）与相对位置嵌入（eRPE）来优化Transformer模型的长时序依赖捕捉能力。此外，数据采集需精确同步200Hz的关节扭矩/位置信号与接触传感器，且每类物体需设计4-6种空间位姿变体以增强数据多样性。

常用场景

经典使用场景

humanObjectDetection数据集在物理人机协作（pHRC）环境中具有经典应用场景，主要用于机器人操纵器与人类或物体接触时的多类别检测。该数据集通过收集Franka Emika Panda机器人操纵器与不同物体（如人体模型、铝材和PVC管）接触时的关节扭矩、位置误差和速度误差等时间序列数据，为训练和验证多类别分类模型提供了丰富的数据支持。其经典使用场景包括工业生产线中机器人与人类协同作业时的安全监测和物体识别任务。

衍生相关工作

该数据集衍生了一系列经典研究工作，主要包括三类方向：基于LSTM/GRU的时序建模方法优化了接触事件的时序特征提取；Transformer架构的创新应用通过时间绝对位置编码(tAPE)和高效相对位置嵌入(eRPE)提升了长程依赖的捕捉能力；滑动窗口预处理策略的系统性比较研究为时间序列分析提供了新的方法论参考。这些工作共同推动了触觉感知领域从二元分类向多类别精细识别的发展。

数据集最近研究

最新研究方向

在物理人机协作（pHRC）领域，humanObjectDetection数据集的最新研究方向聚焦于多类别人/物检测模型的开发与优化。该数据集通过Franka Emika Panda机械臂收集的接触数据，结合LSTM、GRU和Transformer等时序模型，实现了人类、铝和PVC三类接触物体的高精度识别（最高达91.11%实时测试准确率）。前沿探索包括滑动窗口预处理策略的优化、基于自注意力机制的Transformer架构在长程依赖捕捉中的优势，以及多数投票算法对预测稳定性的提升。这一研究突破了传统二元分类（软/硬物体）的局限，为工业场景中安全交互、材料识别及自适应反应提供了新范式，其开源特性进一步推动了触觉感知与协作机器人研究的可复现性发展。

相关研究论文

• Multi-Class Human/Object Detection on Robot Manipulators using Proprioceptive Sensing

  瑞士苏黎世大学信息学院和ZHAW机械系统研究所MINDLab · 2025年