dvla-can-250hz-events-250fps-delta-trim
收藏资源简介：
该数据集名为dvla-can-250hz-events，使用LeRobot创建，专注于机器人操作任务。数据集包含1016个episodes和1,356,080帧，以原生250 Hz帧率采集，每个事件帧累积4毫秒。任务基于MuJoCo/robosuite模拟环境，涉及使用Panda机械臂和OSC或IK控制器执行放置操作：从桌上拾取罐头并放入碗中。80%的episodes中罐头在开始时处于滚动状态（速度采样自0.25-0.75 m/s），其余为静态。演示数据来自读取特权模拟器状态的脚本状态机，仅保留成功尝试。数据集包含3个RGB摄像头（wrist_cam、side_cam、opst_cam）和两个额外的事件相机视频列（observation.images.opst_cam_events、observation.images.wrist_cam_events），所有视频使用H.264编码。动作和观察状态以向量形式表示，包括末端执行器位置、旋转正弦余弦和夹爪状态。数据集旨在测试事件输入是否能弥补250 Hz RGB数据在移动罐头任务中的性能差距（训练成功率仅为36%，而25 Hz版本为61%）。数据布局遵循LeRobot v2.1标准，包含元数据文件映射episode索引到源HDF5文件名。
The dataset named dvla-can-250hz-events is created using LeRobot and focuses on robot manipulation tasks. It contains 1016 episodes and 1,356,080 frames, collected at a native 250 Hz frame rate, with each event frame accumulating 4 milliseconds. The task is based on the MuJoCo/robosuite simulation environment and involves using a Panda robotic arm with OSC or IK controllers to perform a place operation: picking up a can from a table and placing it into a bowl. In 80% of the episodes, the can is initially rolling (with speeds sampled from 0.25-0.75 m/s), while the rest are static. The demonstration data comes from scripted state machines that read privileged simulator states, retaining only successful attempts. The dataset includes 3 RGB cameras (wrist_cam, side_cam, opst_cam) and two additional event camera video streams (observation.images.opst_cam_events, observation.images.wrist_cam_events), with all videos encoded using H.264. Actions and observation states are represented as vectors, including end-effector position, rotation sine-cosine, and gripper state. The dataset aims to test whether event input can compensate for the performance gap of 250 Hz RGB data in moving can tasks (with a training success rate of only 36%, compared to 61% for the 25 Hz version). The data layout follows the LeRobot v2.1 standard and includes metadata files mapping episode indices to source HDF5 filenames.
数据集概览：dvla-can-250hz-events-250fps-delta-trim
- 数据集名称: dvla-can-250hz-events-250fps-delta-trim
- 许可证: Apache-2.0
- 创建工具: LeRobot
- 任务类别: 机器人学
- 标签: LeRobot, robotics, mujoco, robosuite, manipulation, event-camera, dvs
数据集描述
本数据集包含 1016 个 episode，共计 1,356,080 帧，以原生 250 Hz 的帧率录制。事件帧累积时间为 4 ms，因此极性图像较为稀疏（像素密度约为 40 ms 版本的三分之一）。
在 3 个 RGB 相机基础上额外提供两个视频列：
observation.images.opst_cam_eventsobservation.images.wrist_cam_events
编码说明: 因 SVT-AV1 不支持 240 fps 以上的帧率，所有视频列均采用 H.264 编码（而非 AV1）。对应的 25 fps 变体则使用 AV1 进行基础编码。
背景: 该数据集对应的 250 Hz RGB 版本训练成功率仅为 36%（静态罐子保持 100%，动态罐子导致差距），而 25 Hz 版本成功率为 61%。本数据集旨在测试事件输入能否弥补这一性能差距。
任务
- 任务: MuJoCo / robosuite 环境中的
place任务：从桌上拿起罐子并将其放入碗中。 - 动态性: 80% 的 episode 开始时罐子处于 滚动 状态（速度采样范围 0.25-0.75 m/s），其余为静态。
- 演示生成: 通过读取特权模拟器状态的脚本化状态机生成，仅保留成功的尝试。
数据布局
- 格式: LeRobot v2.1
- 机器人类型:
panda - 相机: 3 个 RGB 相机，分辨率 360x480（
wrist_cam、side_cam、opst_cam）。训练仅使用opst_cam+wrist_cam。 - 动作 (
action): 形状 (10,)，包含 3 个位置增量、3 个欧拉角的正弦/余弦、以及夹爪状态。- 动作为 增量 形式：
target = live_state + predicted_delta，每一步重新锚定。 - 目标采用 未来-末端执行器重标记：标签为 320 ms 后实际到达的位姿。
- 动作为 增量 形式：
- 观测状态 (
observation.state): 形状 (9,)，包含位置和欧拉角的正弦/余弦。 - 环境状态 (
observation.environment_state): 形状 (9,)，包含特权物体位姿/速度，训练时丢弃（真实机器人不可用）。 - 时间戳与索引: 包含
timestamp、frame_index、episode_index、index、task_index等元数据。 - delta-trim: 数据集额外丢弃了手臂保持静止的起始帧，使
action[0]代表真实运动，避免冷启动停滞。
数据集结构
- 元数据:
meta/info.json包含代码库版本、机器人类型、总 episode/帧/视频/块数、帧率、数据路径、视频路径及特征定义。 - 数据文件:
data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet - 视频文件:
videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4 - 映射文件:
meta/camera.jsonl将每个episode_index映射回源 HDF5 文件名（episode 顺序非源顺序）。
复现与参考
- 复现脚本: 生成、转换、训练、评估脚本及详细测量结果和注意事项参见：https://github.com/mickeykang16/DynamicVLA/tree/mujoco
- 主页: https://github.com/mickeykang16/DynamicVLA/tree/mujoco
- 论文: 待补充
- 引用: 待补充
