vac-pipe-dual-cam
收藏资源简介:
这是一个用于接触密集管道插入任务的动觉遥操作数据集,在可变导纳控制器(VAC)下记录,使用Doosan M0609机械臂、Inspire RH56手爪和Bota腕部力/扭矩传感器。数据以LeRobot v2格式(Parquet + MP4)存储,包含202个episodes和145,712帧,采样率为50 Hz。任务为pipe_fixing,涉及抓取管道并插入/固定它,操作员在线调节顺应性(可变刚度和阻尼)。数据集提供两个摄像头视图:RealSense D405(腕部视角,640×480)和Orbbec Femto Bolt(第三人称视角,640×480)。它不仅记录运动学和视觉数据,还包括完整的导纳状态、操作员在线刚度/阻尼命令,以及同步的Bota力/扭矩流,适用于基于力的模仿学习。数据集结构包括元数据、Parquet数据文件和MP4视频文件,支持单摄像头或双摄像头训练。硬件设置包括Doosan M0609协作机械臂、Inspire RH56手爪(作为二进制开/合夹爪操作)、Bota Systems腕部传感器和可变导纳控制器。数据集旨在帮助学习输出顺应性的策略,适用于机器人模仿学习和扩散策略模型训练。
This is a kinesthetic teleoperation dataset for contact-intensive pipe insertion tasks, recorded under a Variable Admittance Controller (VAC) using a Doosan M0609 robotic arm, Inspire RH56 gripper, and Bota wrist force/torque sensor. The data is stored in the LeRobot v2 format (Parquet + MP4) and includes 202 episodes with 145,712 frames at a sampling rate of 50 Hz. The task is pipe_fixing, which involves grasping a pipe and inserting/fixing it, with the operator online adjusting compliance (variable stiffness and damping). The dataset provides two camera views: RealSense D405 (wrist view, 640×480) and Orbbec Femto Bolt (third-person view, 640×480). It not only records kinematic and visual data but also includes complete admittance states, operator online stiffness/damping commands, and synchronized Bota force/torque streams, suitable for force-based imitation learning. The dataset structure consists of metadata, Parquet data files, and MP4 video files, supporting single or dual-camera training. The hardware setup includes a Doosan M0609 collaborative robotic arm, Inspire RH56 gripper (operated as a binary open/close gripper), Bota Systems wrist sensor, and variable admittance controller. The dataset aims to help learn strategies that output compliance, applicable to robot imitation learning and diffusion policy model training.
数据集概述
数据集名称: VAC — Pipe Insertion (dual-camera)
许可证: CC-BY-4.0
任务类别: 机器人学 (Robotics)
标签: LeRobot, 机器人学, 模仿学习, 扩散策略, 可变导纳, 力控制, Doosan, 管道插入
核心信息
- 任务:
pipe_fixing(管道固定)——在可变导纳控制器 (VAC) 控制下进行接触丰富的管道插入任务。操作员在线调节刚度和阻尼,实现柔顺性。 - 机器人平台: Doosan M0609 (6自由度协作机器人) + Inspire RH56 手爪 + Bota 腕部力/力矩传感器
- 数据采集方式: 动觉示教 (Kinesthetic teleoperation)
- 数据格式: LeRobot v2 格式 (Parquet + MP4)
- 总片段数 (Episodes): 202
- 总帧数 (Frames): 145,712
- 采样率: 50 Hz (建议按需降采样)
相机配置
observation.images.camera: RealSense D405(腕部视角/主视图),分辨率 640×480observation.images.orbbec: Orbbec Femto Bolt(第三人称视角/辅助视图),分辨率 640×480
特征结构(每时间步)
| 特征键 | 维度 | 含义 |
|---|---|---|
observation.state |
12 | TCP位置(x,y,z) + 旋转向量(rx,ry,rz) + 6个Inspire手爪关节 |
observation.wrench |
6 | 基坐标系下的Bota力/力矩:Fx,Fy,Fz (N), Tx,Ty,Tz (Nm) |
observation.admittance_params |
4 | 平动刚度K_trans (N/m), 旋转刚度K_rot (Nm/rad), 平动阻尼B_trans, 旋转阻尼B_rot |
observation.stiffness_cmd |
1 | 指令平动刚度 K_trans_cmd (N/m) |
observation.zeta |
1 | 指令阻尼比 ζ (默认1.2) |
observation.target_pose |
— | 导纳目标位姿 |
observation.images.camera |
640×480 | RealSense D405 RGB图像 |
observation.images.orbbec |
640×480 | Orbbec Femto Bolt RGB图像 |
action.user_cmd |
6 | 操作员原始指令增量 d{x,y,z,rx,ry,rz} (导纳滤波前) |
action.vel_cmd |
6 | 笛卡尔速度 vx,vy,vz (mm/s), wx,wy,wz (deg/s) (导纳滤波后) |
action.absolute |
12 | 绝对TCP + 手爪目标 |
action.delta |
— | 增量TCP目标 |
next.done |
1 | 片段终止标志 |
手爪状态说明: 手爪状态占 observation.state 的 6-11 维(手爪拇指旋转、手爪拇指弯曲、食指、中指、无名指、小指)。Inspire手爪在下游策略中被操作为二进制开/夹持。
pre 与 post 说明: action.user_cmd 是操作员的原始意图(导纳滤波前);action.vel_cmd 是控制器实际执行的笛卡尔速度(导纳动力学后)。策略可以模仿控制器的任意一侧。
数据布局 (LeRobot v2)
dataset_pipe_02_06/ ├── meta/ │ ├── info.json # fps, 维度, 特征名称, 片段数, 总帧数 │ ├── episodes.jsonl # 每个片段一项 (索引, 长度, 任务) │ └── tasks.jsonl # 任务索引 → "pipe_fixing" ├── data/chunk-000/episode_NNNNNN.parquet └── videos/chunk-000/ ├── observation.images.camera/episode_NNNNNN.mp4 └── observation.images.orbbec/episode_NNNNNN.mp4
数据集特点与用途
- 除了记录运动学和视觉数据,还完整记录了导纳状态和操作员在线刚/阻尼指令,可用于学习输出柔顺性(预测K, ζ)的策略。
- 同步的Bota力/力矩数据使其适用于力条件化的模仿学习。
- 支持单个D405相机或双相机训练。
硬件配置
- 机械臂: Doosan M0609 (6自由度协作机器人)
- 手爪: Inspire RH56 (作为二进制开/夹持操作)
- 力/力矩传感器: Bota Systems 腕部传感器 (
/bota_ft_sensor/wrench),每次试验归零 - 控制器: 可变导纳控制器 —— 操作员在线调节刚度K和阻尼ζ
- 记录系统: 本项目
lerobot_recorder
相关资源
- 策略模型:
aleleanza/diffusion-policy-vac-pipe—— 基于该数据集训练的6变量输入/输出扩散策略消融模型
引用
若使用本数据集,请注明VAC项目(Doosan M0609可变导纳操作)。数据集在SUPSI录制。



