g1-inspire-nut-in-box-twist2
收藏资源简介：
该数据集包含使用Unitree G1（29自由度）人形机器人搭配Inspire RH56DFTP灵巧手进行遥操作的操作数据，转换为LeRobot v3.0格式（使用TWIST2转换器，高级动作模式）。任务是：拾取镊子并将螺母放入盒子。数据包含41个成功片段，共84,552帧（60 fps，约23.5分钟），来自一次捕获会话（2026-08-21）。三个同步RGB摄像头：头部（1280×720）和两个手腕（1920×1080）。观测状态为48维（包括29个关节位置、IMU角速度、IMU横滚俯仰、左右手6维原始寄存器值、颈部偏航俯仰），动作为49维（包括29个关节目标、根速度、高度、姿态、偏航角速度、左右手动作、颈部动作），还有29维关节力矩、12维手部电机电流、左右手各1062维原始触觉阵列（字节交换）。已知限制：手部本体感觉失效（状态中手部值恒定），触觉值需字节交换解码，颈部状态冻结，仅右臂执行任务，所有片段标记为成功。
This dataset contains teleoperation data collected using a Unitree G1 (29-DOF) humanoid robot equipped with Inspire RH56DFTP dexterous hands, converted to LeRobot v3.0 format (using TWIST2 converter, advanced action mode). The task is: pick up tweezers and place a nut into a box. The data includes 41 successful episodes, totaling 84,552 frames (60 fps, approximately 23.5 minutes), from a single capture session (2026-08-21). Three synchronized RGB cameras: head (1280×720) and two wrists (1920×1080). The observation state is 48-dimensional (including 29 joint positions, IMU angular velocity, IMU roll/pitch, left/right hand 6-dimensional raw register values, neck yaw/pitch), and the action is 49-dimensional (including 29 joint targets, root velocity, height, pose, yaw angular velocity, left/right hand actions, neck actions). Additionally, there are 29-dimensional joint torques, 12-dimensional hand motor currents, and left/right hand 1062-dimensional raw tactile arrays (byte-swapped). Known limitations: hand proprioception failure (hand values constant in state), tactile values require byte-swap decoding, neck state frozen, only right arm performs the task, all episodes labeled as successful.
数据集概述
本数据集为Unitree G1（29自由度）仿人机器人 + Inspire RH56DFTP灵巧手在遥操作下执行“用镊子夹取螺母并放入盒子”任务的操作数据，已完成 LeRobot v3.0 格式转换，适用于机器人操作学习与研究。
基本信息
| 项目 | 内容 |
|---|---|
| 任务 | 用镊子夹取螺母并放入盒子（单任务） |
| 数据量 | 41 个 episode，共 84,552 帧 @ 60 fps（约 23.5 分钟） |
| 采集会话 | 1 次，时间：2026-08-21（会话 20260821_1806） |
| 摄像头 | 3 路同步 RGB：头部（1280×720）+ 左腕（1920×1080）+ 右腕（1920×1080），均 AV1 编码，60 fps |
| 许可协议 | MIT License |
| 数据集 ID | MLeggiero/g1-inspire-nut-in-box-twist2 |
| 所需库 | lerobot >= 0.4（构建于 0.5.1） |
数据字段及维度
| 字段 | 维度 | 说明 |
|---|---|---|
observation.state |
float32[48] | 本体感知：29 维关节角度（rad）、5 维 IMU（角速度 + roll/pitch）、左右手各 6 维（原始寄存器值，0–1000，常量）、2 维颈部（恒为 0） |
action |
float32[49] | 高层遥操作目标：29 维关节角度指令 + 6 维根部运动指令 + 左右手各 6 维（原始寄存器值）+ 2 维颈部角度指令 |
observation.effort |
float32[29] | 各关节估计扭矩（N·m），全维度在 41 个 episode 中均有变化 |
observation.force |
float32[12] | 灵巧手电机电流（每指），左右手各 6 维，负载/电流代理 |
observation.tactile.left / .right |
int32[1062] | 每只手原始触觉阵列（RH56DFTP，未池化，需字节交换解码） |
timestamp |
float32 | 从 episode 开始的秒数（frame_index / 60） |
frame_index |
int64 | episode 内帧索引（0 至 T−1） |
episode_index |
int64 | episode 索引（0 至 40） |
index |
int64 | 全局帧索引（0 至 84551） |
task_index |
int64 | 恒为 0（单任务） |
关节顺序：左腿 0–5，右腿 6–11，腰部 12–14，左臂 15–21，右臂 22–28。
手部值说明：raw Inspire 寄存器单位（0–1000，1000 = 张开），非弧度。
任务描述
机器人用右手抓取镊子，利用镊子从桌面夹起螺母并放入盒子中。右手四指持续夹持镊子主体，仅右手拇指（thumb_bend、thumb_rot）驱动镊子弹簧动作；左手保持空闲张开状态。
数据布局
meta/info.json LeRobot v3.0 描述符 meta/tasks.parquet 任务字符串 meta/episodes/chunk-000/*.parquet episode 长度、任务、文件/帧范围及统计 meta/stats.json 聚合特征统计 data/chunk-000/file-000.parquet 所有 41 个 episode 的数据 videos/observation.images.head_rgb/chunk-000/file-0NN.mp4 头部视频（AV1） videos/observation.images.left_wrist_rgb/chunk-000/file-0NN.mp4 左腕视频（AV1） videos/observation.images.right_wrist_rgb/chunk-000/file-0NN.mp4 右腕视频（AV1）
v3.0 格式将多个 episode 打包在同一文件中，需通过 meta/episodes/ 映射具体的 episode 到文件及帧范围。
触觉数据解码
存储的触觉值为 字节交换（byte-swapped） 的 12 位原始值，需用以下函数解码：
python import numpy as np
def decode_taxels(v): v = np.asarray(v, dtype=np.uint16) return ((v & 0xFF) << 8) | (v >> 8)
解码后覆盖范围：左手 90/1062 taxels，右手 92/1062 taxels。右手为工作手，其 little_*、ring_*、middle_*、thumb_pad、thumb_nail 及 palm 区域在 ≥98% 帧中有接触记录。
已知局限
- 手部本体感知失效：
state[34:46]（双手）在多数 episode 内为常量，无有效手部位置信号，建议训练时屏蔽该维度。 - 手部动作通道近乎恒定：
action[41:47]（右手）仅有thumb_bend（19,632 个值）和thumb_rot（2,487 个值）变化；左手动作完全恒定于[1000, 1000, 1000, 1000, 500, 500]。 - 触觉值字节交换：所有存储的 uint16 值均被字节翻转，需按上述
decode_taxels解码后使用。 - 颈部状态冻结：
state[46:48]恒为 0，但颈部动作action[47:49]正常变化。 - 单臂任务：仅右臂执行操作，左臂状态/动作存在但无任务信号。
- 全部 episode 标记为成功：无负样本。
- 有效学习信号：身体关节 + 根部指令 + 右手拇指指令 + 触觉 + 力矩 + 力 + 三路视觉。
来源与采集
数据由单一采集会话（20260821_1806）获取，episode 索引 0–40 对应源 episode episode_0000–episode_0040。采集使用 Unitree G1 + Inspire RH56DFTP 遥操作平台，头戴 + 双腕摄像头，基于 YanjieZe 仓库的 TWIST2 采集栈（工具致谢），由 MLeggiero 于 2026-08-21 采集并发布，遵循 MIT 许可。
