robotwin_extrinsics
收藏资源简介：
RoboTwin 2.0 (aloha-agilex) 是一个面向机器人操作的数据集，专注于末端执行器（EE）空间的数据表示。该数据集提供了包含相机外参和夹爪事件时序的版本。数据集的 action 字段（14维）包含每个时间步的左右臂末端执行器增量信息：位置增量（世界坐标系，3维）、旋转增量（本体轴角，3维）和夹爪绝对开合（1维），记作 action.ee_delta。observation.state 字段（16维）包含左右臂的绝对末端位姿：位置（3维）、四元数（xyzw，确保 qw>=0，4维）和夹爪开合（1维），与 RoboTwin 的 get_obs()['endpose'] 一致，是 take_action(action_type='ee') 所使用的位姿。此外，还保留了原始关节空间数据：action.joint_position 和 observation.state.joint_position（14维）。相机外参 observation.extrinsics.cam_* 表示相机位姿（位置3维，四元数xyzw 4维），采用 OpenCV 约定。夹爪时序字段包括 observation.gripper.{left,right}_time_to_{close,open} 和 observation.gripper.{left,right}_time_since_{close,open}，分别表示距离下一次/上一次夹爪翻转的秒数，无翻转时填充为 10000。该数据集由 lerobot_policy_framepick 仓库中的脚本 augment_robotwin_extrinsics.py 和 augment_robotwin_ee_space.py 生成。
RoboTwin 2.0 (aloha-agilex) is a dataset for robotic manipulation, focusing on end-effector (EE) space data representation. The dataset provides a version with camera extrinsics and gripper event timestamps. The action field (14-dimensional) contains per-timestep end-effector delta information for the left and right arms: position delta (world frame, 3D), rotation delta (body axis-angle, 3D), and absolute gripper opening (1D), denoted as action.ee_delta. The observation.state field (16-dimensional) contains absolute end-effector poses for the left and right arms: position (3D), quaternion (xyzw, ensuring qw>=0, 4D), and gripper opening (1D), consistent with RoboTwins get_obs()[endpose] and used by take_action(action_type=ee). Additionally, raw joint space data are preserved: action.joint_position and observation.state.joint_position (14-dimensional). Camera extrinsics observation.extrinsics.cam_* represent camera poses (position 3D, quaternion xyzw 4D) following OpenCV conventions. Gripper timestamp fields include observation.gripper.{left,right}_time_to_{close,open} and observation.gripper.{left,right}_time_since_{close,open}, indicating seconds to/since the next/previous gripper toggle, filled with 10000 when no toggle occurs. This dataset is generated by the scripts augment_robotwin_extrinsics.py and augment_robotwin_ee_space.py from the lerobot_policy_framepick repository.
数据集概述：RoboTwin 2.0 (aloha-agilex) 在末端执行器空间，含相机外参和夹爪时序
该数据集是基于 lerobot/robotwin_unified 的增强版本，专注于机器人操控任务，数据以 Parquet 格式存储，遵循 MIT 许可证。
主要特点
- 坐标空间转换：将动作和观测状态从关节空间转换为末端执行器（EE）空间，符合 RoboTwin 中
take_action(action_type=ee)的使用约定。 - 信息扩展：在原始数据基础上，新增了相机外参和夹爪事件时序信息。
数据结构
数据文件位于 data/*/*.parquet，主要字段包括：
-
动作 (
action)：维度为 14，表示每个机械臂的增量末端执行器状态。包含平移增量的世界坐标（3）、旋转增量的机体轴角（3）和夹爪绝对位置（1），左右臂各一组，等同于action.ee_delta。 -
观测状态 (
observation.state)：维度为 16，表示每个机械臂的绝对末端位姿。包含位置坐标（3）、四元数（xyzw，且 w≥0，共4）和夹爪状态（1），左右臂各一组。该状态与 RoboTwin 的get_obs()[endpose]输出一致。 -
关节空间原始数据：
action.joint_position和observation.state.joint_position，维度为 14，保留原始关节空间信息。 -
相机外参 (
observation.extrinsics.cam_*)：表示相机位姿，包含位置（3）和四元数（xyzw，共4），采用 OpenCV 相机约定。 -
夹爪时序 (
observation.gripper.*)：包含左右夹爪到达关闭/打开状态所需时间（{left,right}_time_to_{close,open}）及自上次夹爪翻转以来的时间（{left,right}_time_since_{close,open}），单位为秒。当无相关事件时，使用哨兵值10000。
生成方式
该数据集通过 lerobot_policy_framepick/scripts/augment_robotwin_extrinsics.py 和 lerobot_policy_framepick/scripts/augment_robotwin_ee_space.py 两个脚本依次处理生成。
