robotwin_extrinsics

RoboTwin 2.0数据集，基于aloha-agilex平台，在末端执行器空间（EE空间）中提供带有相机外参和夹爪事件时间戳的数据。包含14维的末端执行器delta动作（每步：每个手臂的位移世界坐标、旋转体轴角、夹爪绝对值），16维的绝对末端位姿状态（每个手臂的位置、四元数、夹爪值），以及关节空间原始数据（14维）。此外，还包含相机外参（位置和四元数，OpenCV约定）和夹爪左右手的时间戳（距离下次/上次夹爪翻转的秒数，无事件时为10000）。The RoboTwin 2.0 dataset, based on the aloha-agilex platform, provides data with camera extrinsics and gripper event timestamps in the end-effector space (EE space). It includes 14-dimensional end-effector delta actions (per step: world-coordinate displacement of each arm, rotation axis-angle, gripper absolute values), 16-dimensional absolute end-effector pose states (position, quaternion, gripper value for each arm), and raw joint space data (14 dimensions). Additionally, it contains camera extrinsics (position and quaternion, OpenCV convention) and timestamps for left and right grippers (seconds to next/previous gripper flip, 10000 for no event).

原始信息汇总

RoboTwin 2.0 数据集详情

数据集概述

该数据集为 RoboTwin 2.0（aloha-agilex）在末端执行器（EE）空间下的版本，增加了相机外参（extrinsics）和夹爪事件时间信息，源自 lerobot/robotwin_unified 数据集。

数据特性

动作空间（action，14维）

• 每步双臂的增量末端执行器动作
• 包含：世界坐标位移（3维）、体轴旋转角度（3维）、夹爪绝对位置（1维）
• 左右臂各一组，等同于 action.ee_delta

状态空间（observation.state，16维）

• 每只手臂的绝对末端位姿
• 包含：位置（3维）、四元数（4维，确保 w≥0）、夹爪状态（1维）
• 左右臂各一组，等同于 RoboTwin get_obs()[endpose]

保留的关节空间数据

• action.joint_position / observation.state.joint_position（14维）

相机外参信息

• observation.extrinsics.cam_*：相机位姿，包含位置（3维）和四元数（4维）
• 采用 OpenCV 坐标约定

夹爪事件时间信息

• observation.gripper.{left,right}_time_to_{close,open}：到下次夹爪翻转的秒数
• observation.gripper.{left,right}_time_since_{close,open}：自上次夹爪翻转以来的秒数
• 无事件时使用哨兵值 10000

生成方式

该数据集由 lerobot_policy_framepick/scripts/augment_robotwin_extrinsics.py 和 augment_robotwin_ee_space.py 脚本生成。

技术信息

• 许可证：MIT
• 标签：LeRobot、robotwin
• 任务类别：机器人学
• 数据格式：Parquet 文件，位于 data/*/*.parquet