droid-keeps-v6

droid-keeps-v6是一个经过质量精选的DROID数据集子集，包含1143个片段，已转换为LeRobot v2.1格式，并添加了确定性的@grip夹爪垫接地信息。每个片段都经过人工全帧GUI审查，以确保在每相机内参校正下，外部相机的@grip投影正确。该仓库仅包含公开的、源自DROID的部分：图像、机器人状态、末端执行器增量动作和几何@grip轨迹。付费语言注释（如场景描述、动作推理和计划）位于单独的私有仓库中，并通过片段键进行关联。数据集适用于机器人操作任务，特别是涉及Franka机器人的场景，采用MIT许可证。droid-keeps-v6 is a quality-curated subset of the DROID dataset, containing 1143 segments, converted to LeRobot v2.1 format, with deterministic @grip gripper pad grounding information added. Each segment has undergone full-frame manual GUI review to ensure correct @grip projection from external cameras under per-camera intrinsic calibration. This repository only contains the public, DROID-derived components: images, robot states, end-effector incremental actions, and geometric @grip trajectories. Paid language annotations (such as scene descriptions, action reasoning and planning) are stored in a separate private repository and linked via segment keys. The dataset is intended for robotic manipulation tasks, particularly scenarios involving Franka robots, and is released under the MIT License.

原始信息汇总

数据集概述：droid-keeps-v6

该数据集是 DROID 的一个高质量精选子集，包含 1143 个片段，已转换为 LeRobot v2.1 格式，并提供了确定的 @grip 夹爪接地信息。所有片段均经过人工逐帧审核，确保在修正后的相机内参下，外部摄像头对 @grip 的投影正确。

核心信息

• 许可证: MIT
• 任务类型: 机器人学 (robotics)
• 标签: LeRobot, droid, manipulation, franka
• 来源: 从 DROID 数据集（gs://gresearch/robotics/droid_raw/1.0.1）中精心挑选的 success 片段。

数据内容与格式

• 格式: LeRobot v2.1 格式（h264 mp4 视频，chunks_size=1000）。
• 加载方式: 使用 LeRobotDataset("Numbnut/droid-keeps-v6") 加载。
• 帧率: 15 fps。
• 数据路径:
  • meta/, data/, videos/: 包含 LeRobot v2.1 数据集文件。
  • grip_traj_droid.pkl: 包含逐帧的 @grip 夹爪垫信息（位置框和中心点 UV 坐标），以片段键为索引。
  • norm_stats.json: 包含动作/状态归一化统计量（均值、标准差、q01、q99）。
  • droid_provenance.json: 记录 LeRobot 片段索引到原始 DROID 片段键的映射，以及保留的片段列表。

数据模式（每帧）

• 观测图像:
  • observation.images.ext: 外部 ZED 摄像头视图，360×640 RGB。
  • observation.images.wrist: 腕部 ZED 摄像头视图，360×640 RGB。
• 观测状态 (observation.state): 包含 7 个关节位置 和 1 个夹爪张开度。其中，夹爪张开度为 1 表示打开，0 表示闭合。
• 动作 (action): 机械臂末端执行器的 增量动作，共 7 维：[dxyz(3), d_euler_xyz(3), gripper_next_open(1)]。
• 任务 (task): 使用 DROID 自身的粗粒度 current_task 类别。

特殊数据：@grip

• grip_traj_droid.pkl 文件是一个字典，包含：
  • "traj": 以片段键为索引，其中每个条目包含 pads (int16 数组，形状 [T,2,4])、uv (int16 数组，形状 [T,2]) 和 valid (bool 数组，形状 [T])。
  • pads 表示夹爪垫的边界框 [y0, x0, y1, x1]，定位单位为 0-1023。valid[t] 为假时，表示该帧的投影超出画面或位于相机后方。
• 生成方法: 通过公共 DROID 机器人状态（正向运动学）和 修正后的每相机内参 确定的几何投影得到。

数据划分与注意事项

• 数据集中包含一个 held_out 部分（23 个片段，完整的会话），在 droid_provenance.json 中列出。建议在训练时排除此部分，以作为干净的评估集。

引用

bibtex @article{khazatsky2024droid, title = {DROID: A Large-Scale In-the-Wild Robot Manipulation Dataset}, author = {Khazatsky, Alexander and others}, year = {2024} }