cawm

cawm数据集包含使用Franka Panda机械臂遥操作收集的真实机器人数据，专注于USB插入任务。数据集包含23个episodes，共计62,265个时间步，持续约103.8分钟，采样频率为10 Hz。每个episode存储为独立的HDF5文件，包含以下观测和动作字段： - 观测：机器人末端执行器位置（3维，米）、末端执行器四元数姿态（4维，xyzw）、关节角度（7维，弧度）、夹爪宽度（1维，米）、固定场景相机图像（224×224 RGB，RealSense D435i）、腕部相机图像（224×224 RGB，RealSense D405）、左侧触觉力网格（16×32，归一化接触力）、右侧触觉力网格（16×32，注意：该值为左侧的精确副本，无独立测量）。 - 动作：7维向量，表示命令增量，包括：前3维为末端执行器位置增量（米，基坐标系），第3-6维为旋转增量（轴角，弧度，基坐标系，但实际为零），第7维为夹爪命令（+1闭合，-1张开，但实际恒为+1）。 关键注意事项： - 动作的旋转部分（索引3-6）在所有episodes中恒为零，表示在采集过程中姿态被锁定，数据集仅包含平移运动。 - 夹爪命令（索引6）恒为+1.0，夹爪在记录前已闭合且从未打开，因此无抓取或释放事件。 - 夹爪宽度（gripper_width）接近0（-0.007至0.009毫米），因为USB连接器由固定夹具固定，而非手指夹持。 - 右侧触觉力网格是左侧的精确逐字节副本，该设置仅为匹配双指配置，不包含独立测量。 - 最大每步位置增量可达6.00 mm（对应0.06 m/s）。 该数据集适用于机器人模仿学习、操作任务中的触觉感知研究、以及基于视觉-触觉的机器人控制策略开发。The cawm dataset contains real robot data collected via teleoperation using a Franka Panda robot arm, focusing on USB insertion tasks. The dataset consists of 23 episodes, totaling 62,265 time steps, lasting approximately 103.8 minutes, sampled at 10 Hz. Each episode is stored as an independent HDF5 file and includes observation and action fields. Observations include: robot end-effector position (3D, meters), end-effector quaternion orientation (4D, xyzw), joint angles (7D, radians), gripper width (1D, meters), fixed scene camera image (224×224 RGB, RealSense D435i), wrist camera image (224×224 RGB, RealSense D405), left tactile force grid (16×32, normalized contact force), right tactile force grid (16×32, note: this is an exact copy of the left, no independent measurement). Actions: 7-dimensional vector representing command increments, including: first 3 dimensions for end-effector position increments (meters, base frame), dimensions 3-6 for rotation increments (axis-angle, radians, base frame, but actually zero), dimension 7 for gripper command (+1 close, -1 open, but actually constant +1). Key notes: The rotation part of actions (indices 3-6) is zero across all episodes, indicating that the orientation was locked during collection, and the dataset only contains translational motion. The gripper command (index 6) is constant +1.0, the gripper was closed before recording and never opened, so there are no grasping or releasing events. The gripper width (gripper_width) is close to 0 (-0.007 to 0.009 mm) because the USB connector is fixed by a stationary fixture, not by the fingers. The right tactile force grid is an exact byte-wise copy of the left, this setup is only to match the two-finger configuration, with no independent measurement. The maximum per-step position increment is up to 6.00 mm (corresponding to 0.06 m/s). This dataset is suitable for robot imitation learning, tactile perception research in manipulation tasks, and development of vision-tactile robot control strategies.

原始信息汇总

CAWM 数据集概述

数据集简介

CAWM 是一个在 Franka Panda 机械臂上通过遥操作收集的真实机器人操作数据集，主要用于机器人操作、触觉感知和模仿学习研究。

核心内容：real/usb_insertion 任务

基本信息

属性	数值
回合数	23
总步数	62,265
总时长	103.8 分钟
采样频率	10 Hz
数据格式	HDF5，每回合一个文件（episode_0.hdf5 至 episode_22.hdf5）

任务描述

USB 连接器插入任务，使用 3Dconnexion SpaceMouse 进行遥操作收集。

数据文件内容

观测数据（obs）

字段	维度	类型	说明
robot0_eef_pos	(N, 3)	float32	末端执行器测量位置（米）
robot0_eef_quat	(N, 4)	float32	末端执行器测量姿态（四元数，xyzw）
robot0_joint_pos	(N, 7)	float32	关节角度（弧度）
gripper_width	(N, 1)	float32	Franka Hand 手指间距（米）
cameras_agentview_rgb	(N, 224, 224, 3)	uint8	固定场景相机（RealSense D435i）
cameras_wrist_rgb	(N, 224, 224, 3)	uint8	腕部相机（RealSense D405）
tactile_force_grid_left	(N, 16, 32)	float32	FlexiTac 接触图（左侧，归一化）
tactile_force_grid_right	(N, 16, 32)	float32	触觉数据（见注意事项）

动作空间（actions）

7 维，表示指令增量而非实际运动：

索引	含义
[0:3]	末端执行器位置增量（米，基坐标系）
[3:6]	末端执行器旋转增量（轴角 rotvec，弧度，基坐标系，外旋）
[6]	夹爪：+1 = 闭合，-1 = 打开

文件属性

每个文件包含 num_samples、action_dim、init_eef_pos (3,)、init_eef_quat (4,) 等属性。

重要注意事项（训练前必读）

恒定维度（无信号）

• actions[3:6] 在所有回合每一步均为零：采集时锁定姿态，整个数据集仅包含平移运动。
• actions[6] 全为 +1.0：夹爪在录制前已闭合且从未打开，数据中无抓取或释放事件。
• gripper_width 接近 0（-0.007 至 0.009 毫米）：连接器由打印夹具固定，手指闭合。
• tactile_force_grid_right 与 ..._left 完全一致：设备仅有一个 FlexiTac 垫，右侧键仅为匹配双指架构而添加，无独立测量值。

运动约束

每步位置变化最大 6.00 毫米（10 Hz 下对应 0.06 m/s）。

观测与动作关系

观测在动作执行之前采集，每个 (obs, action) 对表示操作者看到的状态及其发出的指令。指令轨迹为 init_eef_pos + cumsum(actions[:, :3])，测量姿态见 obs/robot0_eef_pos，两者差异反映阻抗控制器的延迟（最大 2.4–3.3 厘米）。

图像说明

图像已裁剪为训练用的 224×224 分辨率，原始未裁剪的传感器帧未记录。

数据来源与验证

来源

数据来自 2026-08-13 和 2026-08-19 三次采集会话的合并；real/usb_insertion/merge_manifest.txt 记录了每个回合对应的源文件。

质量验证

上传前已对每个回合逐帧检查：无重复/停滞相机帧、无 NaN/无穷大值、各数据集长度一致、23 个文件 schema 完全相同。

许可证

作者未指定许可证，使用前请联系仓库所有者。

搜集汇总

数据集介绍

构建方式

该数据集通过Franka Panda机械臂的远程操控采集真实机器人操作数据，聚焦于USB接口插入任务，共包含23个演示轨迹，以10 Hz频率记录，总时长约103.8分钟。数据以HDF5格式存储，每个轨迹一个文件，同步采集了关节位置、末端执行器位姿、夹爪宽度、固定视角与腕部相机RGB图像，以及FlexiTac触觉传感器提供的接触力分布图。动作空间为7维，表示基坐标系下的末端执行器位置与旋转增量及夹爪开关指令，观测值在动作执行前捕获，确保数据对反映操作者的实时响应。

特点

该数据集具有鲜明的领域特征：所有轨迹中旋转动作恒为零，且夹爪指令始终保持关闭状态，表明任务仅涉及平移操作，且物体由固定夹具而非夹爪握持。触觉数据左右通道完全冗余，仅提供单点接触信息。观测图像已裁剪至训练所需分辨率，但未保存原始未裁剪帧。数据经过逐帧质量审查，确保无重复、停滞或异常值，且所有轨迹模式完全一致。最大单步平移距离为6毫米，对应0.06 m/s的最大速度，体现了精密插接任务的运动特点。

使用方法

该数据集适用于模仿学习、机器人操作策略训练等研究。使用时需注意其恒定维度（旋转、夹爪、右侧触觉）不包含有效信号，训练前应将其剔除或忽略。观测与动作的时序对应关系允许构建状态-动作对，用于行为克隆或强化学习算法。图像与触觉数据可融合用于多模态感知策略。由于未指定许可证，商用或二次发布前需联系所有者获取授权。建议结合合入清单追溯数据来源，并依据测量与指令轨迹的偏差（可达3.3厘米）评估控制器延迟影响。

背景与挑战

背景概述

cawm数据集由研究团队于2026年8月创建，基于Franka Panda机械臂平台，通过遥操作收集了23段USB接头插入任务的真实机器人操作数据。该数据集以10Hz频率记录，包含高精度位姿、视觉图像及触觉力网格等多模态信息，旨在为机器人操作领域的模仿学习提供基准。其核心研究问题聚焦于精细装配任务中的多模态感知与动作生成，对推动机器人技能学习、少样本泛化及物理交互建模具有重要参考价值，尤其在结合触觉与视觉融合的模仿学习方向上展现了潜在影响力。

当前挑战

该数据集面临的挑战涵盖领域问题与构建过程两方面。领域上，USB插入任务要求亚毫米级精度与力控制，而现有数据仅提供平移动作，缺乏旋转变化，且触觉右通道为左通道副本，限制了模型对复杂姿态调整和真实触觉反馈的学习能力。构建中，遥操作产生的命令轨迹与实测位姿存在最大3.3厘米的偏差，反映了阻抗控制滞后；同时，固定场景相机与未裁剪原始帧的缺失，制约了视觉泛化；此外，夹爪恒定闭合及无抓取事件，进一步缩减了动作多样性，对模仿学习算法的鲁棒性和迁移性能提出严峻挑战。

常用场景

经典使用场景

cawm数据集聚焦于真实机器人上的灵巧操作任务，具体为USB插头插入场景。该数据集通过Franka Panda机械臂的遥操作采集，记录了23个成功插入的轨迹，包含高频率的视觉、触觉与本体感觉观测。其经典使用场景是作为模仿学习（Imitation Learning）和示教学习（Learning from Demonstration）的基准，用于训练策略网络从传感器输入直接映射到机器人动作。动作空间设计为7维的末端执行器增量指令，且观测早于动作，符合标准马尔可夫决策过程设定，便于直接应用行为克隆、逆强化学习等算法，同时支持多模态融合感知的研究。

衍生相关工作

基于cawm数据集，衍生研究可聚焦于触觉表征学习、多模态行为克隆及域随机化等方向。该数据集的触觉力栅格可被用来预训练触觉编码器，对比不同架构（如卷积网络、Transformer）在接触状态识别上的效果；其低维动作空间使得策略梯度方法（如PPO、SAC）能够在真实机器人上微调，促进强化学习在细粒度操作中的探索。此外，研究者可借鉴其合并自多轮采集的流程，构建数据增强策略，或利用动作增量特性开发基于积分轨迹的规划器，进而推动高精度机器人操作系统的整体进步。

数据集最近研究

最新研究方向

在机器人操作领域，精细装配任务如USB插拔对灵巧性与触觉反馈提出了严苛要求，而模仿学习依赖高质量演示数据。cawm数据集以Franka Panda机械臂为平台，通过SpaceMouse遥操作采集了23个回合的USB插入任务，同步记录视觉、本体感受及指尖触觉力网格，为多模态感知驱动的策略学习提供了稀缺的真实操作样本。其动作空间定义为基准坐标系下的位置增量与旋转矢量，但该数据集刻意固定了末端姿态与夹爪开合，使研究焦点集中于平移控制与接触状态建模。当前前沿方向包括利用触觉序列进行接触力推理、构建位姿轨迹与力觉反馈的跨模态映射，以及评估数据中恒定维度对策略泛化的影响，为高精度工业装配的自主化奠定数据基石。