五八智能科技（杭州）有限公司

本数据集合面向智能制造与工业自动化场景中人与双臂协作机器人的协同作业需求，适用于双臂协作机器人的动作规划、轨迹优化、协作状态监控及安全风险评估，支撑机器人在动态环境中对作业任务的实时响应与调整。主要解决以下问题：多源传感器（头部相机、左手腕相机、右手腕相机、运动捕捉、力觉）因采样频率异构、时钟漂移导致的时序不一致问题；不同安装工况或设备参数差异导致的机器人动作基准偏差问题；协作过程中异常状态识别与安全事件预判问题。可应用于精密装配、物料搬运、质量检测、设备运维等需要双臂机器人近距离协同作业的工业现场，例如可应用于汽车零部件、3C 电子零配件两类工业分拣场景；适用条件为常温 / 无尘车间、物料非规整混堆上料、分拣，适用范围覆盖原料入库、工位配料、不良品分选全流程等，分拣对象涵盖从 1g 精密电子元件到 500g 异形钣金等多材质异形物料。数据采集 采集人类遥操作双臂机器人的多模态操作数据，以二进制 HDF5 格式存储，包含毫秒级时间戳、机器人关节角度、末端位姿、夹爪状态、三路相机图像及遥操作控制信号。其中机器人本体状态采样频率为 1kHz，图像采样频率为 30Hz，遥操作数据采样频率为 50Hz。 数据处理 针对多源传感器采样频率异构、时钟不同步、丢帧、数值跳变及图像失效等问题，算法以1kHz机器人本体时序为基准完成统一时序对齐与数据清洗。 （1）多源时序对齐 数据采集阶段同步触发各类数据存储，针对硬件时钟漂移造成的细微时序偏差以及采样频率不一致问题，采用动态时间规整结合重采样插值方法，将30Hz图像数据与50Hz遥操作数据统一映射至机器人高频基准时间轴，消除时序错位，实现多模态数据时间同步。 （2）异常数据检测 从时序完整性与运动合理性开展异常判别： 缺失帧检测：根据图像理论采样周期与阈值系数判定帧缺失；同时校验各模态样本数量一致性，剔除时间戳重复、倒流等时序异常数据。 跳变异常检测：剔除关节角度超出硬件限位的越界数据；依据关节运动阈值识别瞬时突变跳变，连续多帧稳定偏移判定为正常遥操作运动，不作异常处理。 （3）图像修复与脏数据剔除 针对全黑、全白等失效图像，失效帧数≤2 帧时通过前序正常帧复制补全；若单相机失效帧数超过2帧，则判定该条轨迹为无效样本并直接删除。 算法输出 对轻微数据缺陷采用帧修补与平滑校正予以保留，对时序错乱、模态长度不匹配、数值越界、图像严重异常等重度缺陷样本直接剔除。最终生成时序统一、数值合规、图像完整的标准化 HDF5 数据集，涵盖统一时间戳、双臂关节角度、末端位姿、夹爪状态、遥操作动作及三路视觉图像。数据集时空一致性强、物理语义可靠，可为双臂协作规划、轨迹优化与安全评估提供高质量数据支撑，适用于机器人操作学习模型的训练与验证。