wiping_06_6d
收藏资源简介:
该数据集包含使用Franka机器人(自定义操作器)执行白板擦拭任务的演示数据。数据集由LeRobot框架创建,包含88个episode,共158,220帧,帧率为50fps。每个episode记录机器人从接近白板、轻柔接触、使用水平左右栅格擦拭、垂直移动一个擦子宽度、直到擦除目标标记并撤退的完整轨迹。数据包括:动作(16维:位置、6D旋转、刚度、夹爪开度)、观测状态(12维:位置、6D旋转、夹爪开度、夹爪力、物体检测)、两个摄像头视频(手腕RGB和后方RGB,480x640,h264编码)、环境状态(6维力/力矩),以及时间戳、帧索引、episode索引等元数据。录制策略包含详细的操作指令,如擦除方式、起始位置偏移、不要改变擦拭模式等。
This dataset contains demonstration data of a whiteboard wiping task using a Franka robot (custom manipulator). The dataset was created with the LeRobot framework, comprising 88 episodes with a total of 158,220 frames at 50 fps. Each episode records the complete trajectory of the robot from approaching the whiteboard, gently contacting, wiping using a horizontal left-right grid pattern, moving vertically by one eraser width, until erasing the target mark and retreating. The data includes: actions (16-dim: position, 6D rotation, stiffness, gripper opening), observation states (12-dim: position, 6D rotation, gripper opening, gripper force, object detection), two camera videos (wrist RGB and rear RGB, 480x640, h264 encoded), environment state (6D force/torque), as well as metadata such as timestamps, frame indices, episode indices. The recording strategy contains detailed operation instructions, such as wiping method, starting position offset, and not changing the wiping pattern.
数据集概述:lucazanett/wiping_06_6d
基本信息
- 许可证:Apache 2.0
- 任务类别:机器人(Robotics)
- 标签:LeRobot、机器人、Franka、擦拭(Wiping)、旋转6D姿态表示(rotation-6d)
- 创建工具:由 LeRobot 框架创建
- 机器人类型:自定义机械臂(custom_manipulator)
数据集规模与结构
| 指标 | 数值 |
|---|---|
| 总片段数(Episodes) | 88 |
| 总帧数(Frames) | 158,220 |
| 总任务数(Tasks) | 1 |
| 块大小(Chunks) | 1,000 |
| 数据文件大小 | 20 MB |
| 视频文件大小 | 200 MB |
| 帧率(FPS) | 50 |
| 数据划分(Splits) | 训练集(train): 片段 0–88(全部用于训练) |
数据路径
- 数据文件:
data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet - 视频文件:
videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
特征设计(Features)
1. 动作(Action)
- 维度:16
- 数据类型:float32
- 包含内容:
- 位置(position.x, position.y, position.z)
- 旋转6D表示(orientation_6d.0 ~ orientation_6d.5)
- 刚度(stiffness.tx, stiffness.ty, stiffness.tz, stiffness.rx, stiffness.ry, stiffness.rz)
- 夹爪(gripper)
2. 观测状态(Observation State)
- 维度:12
- 数据类型:float32
- 包含内容:
- 位置(position.x, position.y, position.z)
- 旋转6D表示(orientation_6d.0 ~ orientation_6d.5)
- 夹爪(gripper)
- 夹爪力(gripper_force)
- 物体检测(obj_detected)
3. 观测图像(Observation Images)
| 相机视角 | 分辨率 | 编码 | 帧率 | 通道 |
|---|---|---|---|---|
| wrist_rgb(腕部 RGB) | 480×640×3 | h264 (yuv420p) | 50 | 3 |
| behind_rgb(后方 RGB) | 480×640×3 | h264 (yuv420p) | 50 | 3 |
4. 环境状态(Environment State)
- 维度:6
- 数据类型:float32
- 包含内容(力/力矩传感器数据):
- 力:ft_fx, ft_fy, ft_fz
- 力矩:ft_tx, ft_ty, ft_tz
5. 元数据(Metadata)
- timestamp:float32 类型,形状 [1]
- frame_index:int64 类型,形状 [1]
- episode_index:int64 类型,形状 [1]
- index:int64 类型,形状 [1]
- task_index:int64 类型,形状 [1]
数据采集策略
- 源文件:
/home/lzanetti/workspaces/lerobot_teleop_ws/recording_strategy/whiteboard_wiping_first80_plus8_validation_read_aloud.json - 策略来源数据集:
whiteboard_wiping_act_v1_operator_scripts,版本 1.0 - 目的:为前 80 个 ACT(Action Chunking with Transformers)白板擦拭演示提供朗读式遥操作指令。
- 策略版本兼容性:LeRobot 代码库版本 v3.0
操作指导摘要
-
全局操作要求:
- 全程使用相同的橡皮擦、抓取方式、相机、白板及擦拭策略
- 动作平滑、从容,避免急促
- 接触板面前需减速,建立轻柔且稳定的接触
- 采用水平左右光栅擦拭轨迹,每次行间垂直移动约一个橡皮擦宽度
- 尽可能完全清除目标标记
- 仅在必要时使用简短的清理动作
- 擦拭完成后干净地离开板面
- 遇到重大失误,应停止并重新录制该片段
-
坐标参考:
- X:0 表示可用板面最左侧,1 表示最右侧
- Y:0 表示可用板面底部,1 表示顶部
-
起始位置偏移参考:
- nominal:标准起始/归位姿态
- left / right / up / down:距标准位置约 5 厘米偏移
- left_up / right_up / left_down / right_down:组合偏移,各方向约 5 厘米
片段示例(前5个片段)
| 片段 ID | 目的 | 标记位置(归一化) | 标记类型 | 起始姿态 | 划分 |
|---|---|---|---|---|---|
| 1 | 清洁基线 | X=0.50, Y=0.50 | 小正方形 | 标准 | train |
| 2 | 基线 | X=0.45, Y=0.50 | 小正方形 | 标准 | train |
| 3 | 基线 | X=0.55, Y=0.50 | 小正方形 | 标准 | train |
| 4 | 基线 | X=0.50, Y=0.45 | 小正方形 | 标准 | train |
| 5 | 基线 | X=0.50, Y=0.55 | 小正方形 | 标准 | train |
每个片段均遵循统一的操作步骤:放置标记 → 移动至起始姿态 → 记录开始 → 平滑接近 → 减速接触 → 建立稳定接触 → 水平光栅擦拭 → 逐行垂直移动 → 覆盖全部标记区域 → 必要时清理 → 干净离开 → 停止记录。
通用禁止事项:
- 禁止改用圆形、对角或其他即兴擦拭方式(除非片段明确要求)
- 禁止有意改变擦拭速度或接触力
- 禁止在轨迹中不必要地停顿
- 禁止用力将橡皮擦压向板面
- 禁止为了完成而继续一个质量差的演示;应重新录制
片段完成判定标准:
- 目标标记区域已被擦拭
- 橡皮擦已从板面收回
- 轨迹平滑且有意图
- 没有发生重大遥操作或录制错误



