dvla-place5obj-roll-250hz-events-250fps-delta-trim

该数据集名为dvla-place5obj-roll-250hz-events，是一个用于机器人操作任务的数据集，专注于放置任务，即捕捉滚动对象并将其放入容器中。数据集包含10,083个episodes，总计8,263,060帧，帧率为250 Hz。任务涉及5种对象（包括罐子、苹果、牛油果、土豆和柠檬）和5种容器（如红色/灰色/白色碗、盘子和托盘），其中80%的episodes中对象以0.25-1.5 m/s的速度滚动，20%为静态。数据采集在MuJoCo/robosuite模拟环境中进行，使用Panda机器人和OSC或IK控制器。摄像头配置包括3个RGB摄像头（手腕、侧面和操作视角）和3个DVS事件摄像头（通过v2e模拟器生成），所有摄像头分辨率均为360x480。动作编码采用delta方式，基于未来末端执行器重标签（偏移320毫秒），并进行了修剪以消除初始保持帧。数据集结构涵盖动作、观测状态（包括环境状态和图像数据）和元数据（如相机配置和重现种子），适用于机器人学习和事件相机研究。数据集通过LeRobot工具创建，采用Apache-2.0许可证，并提供了详细的文档以支持重现和训练。This dataset, named dvla-place5obj-roll-250hz-events, is a robotic manipulation dataset focused on the placing task, which entails catching rolling objects and placing them into containers. It contains 10,083 episodes totaling 8,263,060 frames at a frame rate of 250 Hz. The task involves five types of objects including jars, apples, avocados, potatoes, and lemons, as well as five types of containers such as red, grey, and white bowls, plates, and trays. In 80% of the episodes, objects roll at a speed of 0.25–1.5 m/s, while the remaining 20% are static. Data collection is conducted in the MuJoCo/robosuite simulation environment using the Panda robot with OSC or IK controllers. The camera setup includes 3 RGB cameras (wrist, side, and operational view) and 3 DVS event cameras generated via the v2e simulator, all with a resolution of 360×480. Action encoding adopts the delta format, based on future end-effector relabels with a 320 ms offset, and is trimmed to eliminate initial holding frames. The dataset structure covers actions, observation states (including environmental states and image data), and metadata (such as camera configurations and reproduction seeds), making it suitable for robotic learning and event camera research. The dataset is constructed using the LeRobot toolkit, licensed under the Apache-2.0 license, and provides detailed documentation to support reproduction and training.

原始信息汇总

数据集概述

• 数据集名称: dvla-place5obj-roll-250hz-events (250 fps native, delta, trimmed)
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot, robotics, mujoco, robosuite, manipulation, event-camera, dvs, multi-object
• 总片段数: 10,083
• 总帧数: 8,263,060
• 帧率: 250 Hz
• 机器人类型: Panda

任务描述

• 任务: MuJoCo / robosuite 环境中的“放置”任务，机器人需从桌上拾取滚动物体并放入容器中。
• 物体: 5种（罐、苹果、鳄梨、土豆、柠檬），每种约2,015个片段。选择这些物体以覆盖滚动曲率范围（罐直线滚动，土豆横向偏移可达75厘米）。
• 容器: 5种（红色/灰色/白色碗、盘子、托盘）。指令指定碗的颜色，例如“将土豆放入灰色碗中”。
• 动态特性: 80%的片段中物体在开始时滚动（速度0.25-0.75 m/s），20%为静态。抓取时物体中位速度约0.44 m/s，92%的动态片段在速度大于0.2 m/s时抓取。
• 指令: 共75种独特指令。

数据格式与结构

• 数据集版本: LeRobot v2.1
• 动作 (action): 10维浮点数组，包含末端执行器位置（x, y, z）、旋转角的正弦/余弦（3个欧拉角）和夹爪状态。动作编码为增量（当前帧绝对目标减去当前状态），并基于未来-EE重新标注（标签为320毫秒后实际到达的位姿）。
• 观测状态 (observation.state): 9维浮点数组，包含末端执行器位置（x, y, z）和旋转角的正弦/余弦。
• 环境状态 (observation.environment_state): 9维特权信息（物体位姿/速度），训练时不使用。
• 图像观测 (observation.images): 6个摄像头列，分辨率360x480：
  • 3个RGB摄像头: opst_cam, side_cam, wrist_cam
  • 3个DVS事件摄像头: *_events（通过v2e仿真器生成，每帧累积4毫秒，极性渲染）
  • 视频编码: H.264，帧率250 FPS
• 其他特征: timestamp, frame_index, episode_index, index, task_index
• 数据存储: Parquet文件 (data/*/*.parquet) 和 MP4视频文件 (videos/chunk-{chunk}/.../*.mp4)
• 元数据: meta/info.json 包含数据集结构、特征定义；meta/camera.jsonl 将片段索引映射回源HDF5文件。

复现与文档

• 复现脚本: 生成、转换、训练和评估脚本在 GitHub 中提供。
• 复现条件: 需要环境标志 CAN_TEXTURE=1 BASKET_SCENE=1 TEXTURED_OBJS=1。
• 论文: 待补充。