droid_1.0.1

该数据集是 DROID 1.0.1 的增强版本，在原始数据基础上为每一帧添加了额外的特征。具体包括：动作指令中的末端执行器增量（delta-EE）——包含位置增量 (x, y, z) 和相对旋转轴角向量 (rx, ry, rz) 以及夹爪绝对指令（0到1，1为闭合）；观察中的相机外参——将原始相机外参转换为机器人基座坐标系下的静态相机1/2和腕部相机位姿（位置+四元数）；夹爪事件时间——包括到下一次夹爪指令翻转（阈值0.5）的剩余时间（正值）和自上一次翻转以来的时间（无翻转时用哨兵值10000）。此外，保留了平坦化的动作列（delta-EE值）和状态列（EE的笛卡尔位姿与夹爪值），以及原始的关节空间动作和状态。该数据集适用于机器人操作策略学习、运动规划、夹爪时序分析等任务。This dataset is an enhanced version of DROID 1.0.1, adding additional features per frame on top of the original data. Specifically, it includes: end-effector deltas (delta-EE) in action instructions, containing position increments (x, y, z) and relative rotation axis-angle vectors (rx, ry, rz) along with absolute gripper commands (0 to 1, 1 is closed); camera extrinsic parameters in observations, transforming the original camera extrinsics to robot base frame for static camera 1/2 and wrist camera poses (position + quaternion); gripper event timestamps, including the remaining time to the next gripper command flip (threshold 0.5) as a positive value and the time since the last flip (with a sentinel value of 10000 when no flip occurs). Additionally, flattened action columns (delta-EE values) and state columns (EE Cartesian pose and gripper value) are retained, along with original joint-space actions and states. The dataset is suitable for tasks such as robotic manipulation policy learning, motion planning, and gripper timing analysis.

原始信息汇总

DROID 1.0.1 with delta-EE actions and gripper-event timings 数据集概述

基本信息

• 数据集名称：DROID 1.0.1 with delta-EE actions and gripper-event timings
• 标签：LeRobot、droid
• 任务类别：机器人学（robotics）
• 配置：default 配置，数据文件位于 data/*/*.parquet（Parquet 格式）

数据集特点

该数据集基于 lerobot/droid_1.0.1，新增了按帧（per-frame）的特征，主要围绕末端执行器（EE）动作和夹爪事件进行增强。

新增特征详解

1. action.delta_ee

• 格式：[x, y, z, rx, ry, rz, gripper]（float32）
• 含义：每步的末端执行器增量命令
  • 位置增量为 action.cartesian_position 与 observation.state.cartesian_position 的差值
  • 相对旋转通过 R_cmd * R_state^-1（世界坐标系）计算，以轴角向量表示，避免了逐元素 rpy 相减的万向锁问题
  • 夹爪为绝对命令（0-1，1 表示闭合）

2. observation.extrinsics.static1 / static2 / wrist1

• 格式：[pos(3), quat xyzw(4)]（float32）
• 含义：相机在机器人基座坐标系下的位姿
  • static1：exterior_1_left 相机
  • static2：exterior_2_left 相机
  • wrist1：wrist_left 相机（每帧实时，由 EE 位姿与 episode 的刚性安装偏移组合得到；源列仅在 episode 开始时冻结）

3. observation.gripper.time_to_close / time_to_open

• 含义：夹爪命令下一次翻转前的时间（事后视角，阈值 0.5，小于 3 步的运行进行去抖处理）

4. observation.gripper.time_since_close / time_since_open

• 含义：自上次翻转以来的时间；如果 episode 中没有此类翻转，则保持哨兵值 10000

原有数据保留

• 扁平的 action 列存储 delta-EE 值
• 扁平的 observation.state 列存储 EE 状态 [x, y, z, roll, pitch, yaw, gripper]
• 关节空间原始数据保留在 action.joint_position / observation.state.joint_position 中

生成方式

该数据集由脚本 lerobot_policy_framepick/scripts/augment_droid_delta_ee_gripper_events.py 生成。

搜集汇总

数据集介绍

构建方式

在机器人学习领域，精细的动作表征与感知信息对齐对于策略学习至关重要。该数据集基于DROID 1.0.1原始版本，通过脚本augment_droid_delta_ee_gripper_events.py进行增强构建。构建过程中，针对每一帧计算了末端执行器的增量平移与旋转（以轴角表示），并融合了机械爪绝对指令，同时添加了静态与腕部相机的位姿（由基础坐标系转换而来），其中腕部位姿逐帧更新以反映实时状态。此外，利用阈值判定与去抖逻辑，生成了机械爪开合事件的前瞻与回顾时间特征，以哨兵值标记无事件帧。原始关节空间状态与动作予以保留，与新增特征共同存储于parquet格式中。

特点

此数据集的核心特色在于其融合了多模态时序信息与事件语义。新增的delta-EE动作提供了相机与机器人坐标系的精确对应，避免了欧拉角减法的万向节死锁问题，增强了动作指令的稳定性。相机外参的加入使得视觉观测与空间位姿严密对齐，尤其腕部相机的实时位姿补偿了静态安装的误差。机械爪事件时间特征（如time_to_close）赋予了数据前瞻性，为时序预测与模仿学习提供了时间上下文，而哨兵值的设计巧妙处理了无事件边界。此外，数据保留了原始关节空间变量，支持在不同动作表征间切换，适应多种策略学习算法。

使用方法

此数据集适用于机器人模仿学习与行为克隆任务，尤其适合处理需要精确力-位控制与灵巧操作的研究。使用时，可将其加载为LeRobot格式，利用新增的action.delta_ee作为策略输出，结合observation.state与相机外参构建状态输入。机械爪事件时间特征可作为辅助监督信号或用于数据增强，例如生成时序一致的开合动作。研究者可按需筛选帧，利用哨兵值过滤无事件片段。数据以parquet格式存储，便于利用现有数据管道进行批处理与分布式训练。推荐与DROID原始基准对比以评估delta-EE表征的优势。

背景与挑战

背景概述

DROID 1.0.1数据集由LeRobot团队于近年发布，旨在推动机器人操作领域的模仿学习与策略泛化研究。该数据集基于斯坦福大学等机构的大规模机器人操作数据采集项目，核心研究问题在于如何通过多视角视觉与本体感觉信息，实现精细的末端执行器控制。其影响力体现在为端到端机器人学习提供了高保真、多模态的训练样本，尤其支持了动作增量表示与事件时序标注的新范式，促进了跨平台策略迁移和闭环控制技术的发展。

当前挑战

该数据集面临的挑战涵盖领域问题与构建过程两方面。在领域层面，机器人操作任务需应对高维连续动作空间、动态环境干扰以及多传感器数据同步的复杂性，尤其是在实时控制中保证动作增量计算的精确性与旋转表示的连续性。在构建过程中，挑战包括将原始相机外参转换为基坐标系下的统一位姿表示、处理夹爪开关事件的时序模糊性（如滞后触发与短时抖动）、以及确保不同episode间的时间步长一致性和缺失事件的鲁棒处理，这些均需精细的脚本设计和大量的人工校验。

常用场景

经典使用场景

DROID 1.0.1数据集，作为机器人学习领域的基石性资源，广泛应用于模仿学习与强化学习的策略训练与评估。其涵盖的丰富遥操作数据，特别是精细的末端执行器增量动作与夹爪事件标注，为研究多模态感知-运动控制耦合提供了理想平台。研究者常借此数据集开展视觉运动策略的泛化能力测试，探索跨物体、跨场景的操作技能迁移，以及基于相机外参的3D空间推理，从而推动机器人从实验室走向真实世界复杂任务的高效学习。

解决学术问题

该数据集针对机器人操作学习中的数据稀缺与动作表征不一致等核心难题，提供了精确的delta-EE动作和夹爪开合时序标签，有效解决了传统数据集在旋转动作分解上的歧义性问题。通过引入世界坐标系下的相机外参和事后夹爪事件统计，它支持了因果推断、时序建模及状态估计等学术探讨，为研究动作分块、位姿误差补偿、以及人机交互中的安全控制策略提供了高质量的数据支撑，显著推动了具身智能体在非结构化环境中的决策理论研究。

衍生相关工作

基于DROID 1.0.1的示范性工作包括开发高泛化性视觉运动策略，如ACT、Diffusion Policy等的变体，这些工作利用其精细动作分割提升了长程任务的成功率。研究者还借此数据集探索了多摄像头融合的3D场景表征学习，衍生出用于机器人操作的NeRF和世界模型方法。在数据处理层面，该数据集催生了自动化动作注释和事件检测算法，相关成果发表在ICRA、CoRL等顶级会议，形成了围绕数据增强、因果推理和闭环控制的研究脉络，深刻影响了后续机器人学习数据集的构建标准。