dvla-can-25fps-ws-abs8-delta-trim
收藏资源简介：
这是一个名为dvla-can-25fps (delta, trimmed)的机器人操作数据集，专为训练和评估ACT（Action Chunking Transformer）策略设计。数据集包含1006个episodes（总计147,063帧），控制频率为25Hz，用于与250Hz和事件数据集进行基准比较。在该数据集上训练的ACT策略（采用delta_n3配方，包括delta动作、sin/cos旋转、n_obs_steps=3时态融合、2个摄像头、chunk 20设置）在20个域内和20个保留场景中平均达到61%的放置成功率。任务是在MuJoCo/robosuite模拟器中使用Panda机械臂（通过OSC或IK控制）执行放置操作：从桌上拾取一个罐子并放入碗中。80%的episodes中罐子在开始时处于滚动状态（速度采样自0.25-0.75 m/s），其余为静态。演示数据来自读取模拟器特权状态的脚本状态机，仅保留成功尝试。数据布局包括：动作（10维向量，表示delta目标）、观察状态（9维，表示机械臂末端执行器位姿）、环境状态（9维，特权物体位姿/速度，训练时丢弃）以及三个RGB摄像头（wrist_cam、side_cam、opst_cam，分辨率360x480）。数据集经过修剪，去除了机械臂保持静止的初始帧，确保第一个动作是真实运动。数据集使用LeRobot v2.1创建，数据以parquet格式存储，并包含元数据映射。
This is a robot manipulation dataset named dvla-can-25fps (delta, trimmed), designed for training and evaluating ACT (Action Chunking Transformer) policies. The dataset contains 1006 episodes (totaling 147,063 frames) with a control frequency of 25Hz, serving as a benchmark comparison with 250Hz and event datasets. ACT policies trained on this dataset (using the delta_n3 recipe: delta actions, sin/cos rotations, temporal fusion with n_obs_steps=3, 2 cameras, chunk 20) achieve an average placement success rate of 61% across 20 in-domain and 20 held-out scenarios. The task involves performing a place operation in the MuJoCo/robosuite simulator using a Panda robot arm (controlled via OSC or IK): picking up a can from a table and placing it into a bowl. In 80% of the episodes, the can is rolling at the start (velocity sampled from 0.25-0.75 m/s), while the rest are static. Demonstration data comes from a scripted state machine reading privileged simulator states, with only successful attempts retained. The data layout includes: actions (10-dimensional vector representing delta targets), observation states (9-dimensional representing the robot end-effector pose), environment states (9-dimensional for privileged object pose/velocity, discarded during training), and three RGB cameras (wrist_cam, side_cam, opst_cam, resolution 360x480). The dataset is trimmed to remove initial frames where the robot remains stationary, ensuring the first action represents real motion. It was created using LeRobot v2.1, stored in parquet format, and includes metadata mapping.
数据集概述
数据集名称: dvla-can-25fps-ws-abs8-delta-trim
许可证: Apache-2.0
创建工具: LeRobot (https://github.com/huggingface/lerobot)
主页: https://github.com/mickeykang16/DynamicVLA/tree/mujoco
任务描述
- 任务: 在 MuJoCo / robosuite 环境中，使用 Panda 机械臂（OSC-or-IK 控制）执行“放置”任务：将桌上的罐子拾起并放入碗中。
- 场景变体: 80% 的片段中罐子开始时处于滚动状态（速度从 0.25-0.75 m/s 中采样），其余为静止状态。
- 演示来源: 由脚本化的状态机生成，读取仿真器内部状态，仅保留成功的尝试。
数据集规模与结构
- 片段数: 1006 条
- 总帧数: 147,063 帧
- 控制频率: 25 Hz
- 数据格式: LeRobot v2.1，
robot_type: panda - 文件组织: 数据以 Parquet 格式存储于
data/*/*.parquet，视频以 MP4 格式存储于videos/对应子目录。 - 元数据:
meta/info.json: 包含数据集范围、特征定义等。meta/camera.jsonl: 将每个episode_index映射回原始 HDF5 文件名（注意片段顺序并非源文件顺序）。
特征与动作表示
-
动作 (
action): 形状(10,)，按顺序为[dx, dy, dz, ee_rot_x_sin, ee_rot_x_cos, ee_rot_y_sin, ee_rot_y_cos, ee_rot_z_sin, ee_rot_z_cos, gripper]。- 动作为增量（delta）：绝对目标位置减去当前帧的状态。
- 推理时解码为
target = live_state + predicted_delta，每一步重新锚定。 - 绝对目标采用未来末端执行器重标定（future-EE relabel）：标签为实际到达的位姿（相对于命令时间延迟 320 ms），该偏移量对性能至关重要（开环重放结果：320 ms 时 20/20 成功，200 ms 时 5/20，40 ms 时 0/20）。
- -delta-trim 额外丢弃了初始段中机械臂保持静止的帧，确保
action[0]代表真正的运动。
-
观察状态 (
observation.state): 形状(9,)，为[x, y, z, ee_rot_x_sin, ee_rot_x_cos, ee_rot_y_sin, ee_rot_y_cos, ee_rot_z_sin, ee_rot_z_cos]。 -
环境状态 (
observation.environment_state): 形状(9,)，为特权物体位姿/速度信息，训练时被丢弃（实际机器人不可用）。 -
图像观测: 3 个 RGB 摄像头，分辨率 360×480，帧率 25 Hz，H.264 编码：
wrist_cam（腕部相机）side_cam（侧方相机）opst_cam（操作相机）- 训练时使用
opst_cam+wrist_cam。
-
其他字段:
timestamp（float32）、frame_index（int64）、episode_index（int64）、index（int64）、task_index（int64）。
性能基线
- 策略: ACT（delta_n3 配方：增量动作、正弦/余弦旋转、
n_obs_steps=3时域融合、2 个摄像头、chunk 20）。 - 放置成功率: 在 20 个域内场景和 20 个未见场景上，平均最佳检查点达到 61%。
复现与引用
- 复现脚本与结果: 生成、转换、训练、评估脚本、测量结果及经验教训均记录于 https://github.com/mickeykang16/DynamicVLA/tree/mujoco 。
- 论文: [更多信息待补充]
- 引用格式: BibTeX 待补充。
