dvla-can-250hz-events-250to25fps-delta-trim

该数据集名为dvla-can-250hz-events，使用LeRobot工具创建，专注于机器人操作任务。数据生成基于250Hz的RGB场景，通过v2e DVS模拟器（版本1.5.1，阈值0.15/0.15）模拟事件相机，并降采样10倍至25Hz，每个输出帧包含40毫秒窗口的事件作为极性图像。数据集包含1016个episodes和135,828帧，额外增加了两个视频列：observation.images.opst_cam_events和observation.images.wrist_cam_events，用于捕获事件帧。事件帧为极性渲染，非自然图像，因此需关闭ImageNet归一化。任务是在MuJoCo/robosuite环境中使用Panda机械臂执行放置操作：从桌上拿起罐子并放入碗中，80%的episodes中罐子初始状态为滚动（速度0.25-0.75 m/s），其余为静态。数据布局包括动作（10维，表示delta目标）、观测状态（9维，位置和旋转信息）、环境状态（9维，特权对象姿态/速度，训练时丢弃）以及多个相机图像（RGB和事件，分辨率360x480）。数据集用于训练和评估机器人策略，支持动态视觉-语言-动作（DynamicVLA）研究。The dataset is named dvla-can-250hz-events, created using the LeRobot tool and focuses on robot manipulation tasks. Data generation is based on 250Hz RGB scenes, simulating event cameras via the v2e DVS simulator (version 1.5.1, threshold 0.15/0.15), downsampled 10 times to 25Hz, with each output frame containing events from a 40-millisecond window as polarity images. The dataset includes 1016 episodes and 135,828 frames, with two additional video columns: observation.images.opst_cam_events and observation.images.wrist_cam_events for capturing event frames. Event frames are polarity-rendered and not natural images, so ImageNet normalization should be disabled. The task involves using a Panda robotic arm in a MuJoCo/robosuite environment to perform a placement operation: picking up a can from a table and placing it into a bowl, with the can initially rolling (speed 0.25-0.75 m/s) in 80% of episodes and static in the rest. The data layout includes actions (10-dimensional, representing delta targets), observation states (9-dimensional, with position and rotation information), environment states (9-dimensional, privileged object poses/velocities, discarded during training), and multiple camera images (RGB and events, resolution 360x480). The dataset is used for training and evaluating robot policies, supporting Dynamic Vision-Language-Action (DynamicVLA) research.

原始信息汇总

数据集概述

基本信息

• 数据集名称：dvla-can-250hz-events (250 -> 25 fps) - event frames accumulating 40 ms each
• 许可证：Apache-2.0
• 任务类别：机器人学
• 标签：LeRobot, robotics, mujoco, robosuite, manipulation, event-camera, dvs
• 数据集大小：1016个episode，共135,828帧
• 帧率：25 fps
• 代码库版本：LeRobot v2.1
• 机器人类型：Panda

数据集描述

该数据集基于MuJoCo/robosuite仿真环境生成，任务为“place”（拾取并放置）：从桌上拿起一个罐子放入碗中。80%的episode开始时罐子处于滚动状态（速度0.25-0.75 m/s），其余为静止状态。演示由读取模拟器特权状态的脚本生成，仅保留成功尝试。

关键特性：

1. 原始250 Hz RGB帧通过v2e DVS模拟器（阈值0.15/0.15）生成事件，然后10倍下采样：每个输出帧编码40 ms窗口内的事件作为极性图像。
2. 在3个RGB摄像头（wrist_cam, side_cam, opst_cam）基础上，额外增加两个事件视频列：observation.images.opst_cam_events 和 observation.images.wrist_cam_events。
3. 事件帧是极性渲染图，而非自然图像，因此针对这两列不能使用ImageNet归一化。
4. 训练仅使用opst_cam + wrist_cam（含对应事件摄像头）。

动作与状态空间

• 动作 (action)：10维向量，包含末端执行器位置增量(dx, dy, dz)、三个欧拉角的正弦/余弦值、夹爪开合。
• 观察状态 (observation.state)：9维向量，包含末端执行器位置和三个欧拉角的正弦/余弦值。
• 环境状态 (observation.environment_state)：9维特权物体位姿/速度，训练时丢弃（真实机器人不可用）。

动作标签特性

• 动作为增量：action = 绝对目标位置减去当前帧状态。评估时解码为 target = live_state + predicted_delta，每步重新锚定。
• 未来-EE重标定：动作标签编码的是实际到达的位姿（延迟320 ms后），而非状态机指令。该延迟设置对性能影响显著（320 ms时成功率20/20，200 ms时为5/20，40 ms时为0/20）。
• -delta-trim变体：移除了初始静止帧，确保action[0]代表真实运动，避免冷启动停滞。

数据结构

• 数据文件：数据存储在Parquet文件中，路径为 data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet。
• 视频文件：视频存储在MP4文件中，路径为 videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4，共5080个视频。
• 元数据：meta/camera.jsonl 将每个 episode_index 映射回源HDF5文件名。episode顺序非源顺序，需通过该文件回溯。
• 分割：所有1016个episode均用于训练（train: 0:1016）。

特征详细

特征字段	数据类型	形状	说明
action	float32	(10,)	末端执行器增量及夹爪开合
observation.state	float32	(9,)	末端执行器位姿
observation.environment_state	float32	(9,)	特权环境状态（训练时丢弃）
observation.images.wrist_cam	video	(360, 480, 3)	腕部RGB摄像头，h264编码，25 fps
observation.images.side_cam	video	(360, 480, 3)	侧面RGB摄像头
observation.images.opst_cam	video	(360, 480, 3)	操作视角RGB摄像头
observation.images.wrist_cam_events	video	(360, 480, 3)	腕部事件摄像头（极性渲染）
observation.images.opst_cam_events	video	(360, 480, 3)	操作视角事件摄像头（极性渲染）
timestamp	float32	(1,)	时间戳
frame_index	int64	(1,)	帧索引
episode_index	int64	(1,)	Episode索引
index	int64	(1,)	全局索引
task_index	int64	(1,)	任务索引

复现与引用

• 生成、转换、训练和评估脚本：完整文档及代码位于 https://github.com/mickeykang16/DynamicVLA/tree/mujoco
• 主页：https://github.com/mickeykang16/DynamicVLA/tree/mujoco
• 论文：[需要更多信息]
• 引用格式：[需要更多信息]