React-lerobot

React（LeRobot v2.1版本）是一个机器人学数据集，专注于手持式双手机器人触觉-视觉操作任务（无机器人臂）。它包含36个episodes和240,040帧（每秒30帧），涵盖两个任务：motherboard和pushT。每个帧提供5个视频流（分辨率为640×480，使用h264编码），包括左视角、中间视角、右视角、左触觉图像和右触觉图像。此外，还包含观察状态（14维，表示左右GelSight设备的6自由度位姿）、物体姿态（7维）及其有效性、触觉数据（6维，表示左右接触强度和面积），以及动作（14维，作为下一帧的姿态目标）。该数据集是手持式的，动作代表下一帧的位姿，而非机器人控制命令，且不包含深度信息。React (LeRobot v2.1 version) is a robotics dataset focused on handheld dual-hand robot tactile-visual manipulation tasks (without robot arms). It contains 36 episodes and 240,040 frames (at 30 frames per second), covering two tasks: motherboard and pushT. Each frame provides 5 video streams (with a resolution of 640×480, encoded using h264), including left view, middle view, right view, left tactile image, and right tactile image. Additionally, it includes observation states (14-dimensional, representing the 6-degree-of-freedom poses of the left and right GelSight devices), object poses (7-dimensional) and their validity, tactile data (6-dimensional, representing left and right contact intensity and area), and actions (14-dimensional, serving as pose targets for the next frame). The dataset is handheld, with actions representing poses for the next frame rather than robot control commands, and it does not include depth information.

原始信息汇总

数据集概述

React — LeRobot v2.1 edition（镜像版本，数据集地址：https://huggingface.co/datasets/yxma/React-lerobot）是一个手持式双臂触觉-视觉操作数据集，不涉及机械臂。该数据集可从源仓库 yxma/React（https://huggingface.co/datasets/yxma/React）镜像而来，可使用 lerobot 库直接加载。

任务与规模

• 任务数：2 个（motherboard、pushT）
• 片段数：36 个
• 总帧数：240,040 帧，帧率 30 fps

数据模态

• 视频流：每帧包含 5 个视频流，分辨率 640×480，采用 h264 编码：
  • observation.images.view_left
  • observation.images.view_middle
  • observation.images.view_right
  • observation.images.tactile_left
  • observation.images.tactile_right
• 状态（observation.state，14 维）：左右 GelSight 的 6 自由度位姿（位置 xyz + 四元数）
• 物体位姿（observation.object_pose，7 维）及有效标志（observation.object_pose_valid）：仅在 motherboard 任务中追踪物体；pushT 任务中为 0 或 NaN。
• 触觉信息（observation.tactile，6 维）：左右接触强度、接触面积、混合信号。
• 动作（action，14 维）：下一帧的 observation.state，作为便利目标，并非机器人指令。

注意事项

• 无深度信息：本数据集不包含深度信息（LeRobot 视频为有损 h264）。无损深度及每个任务的相机外参存在于源仓库 yxma/React 的 data/<task>/depth/ 和 data/<task>/calibration/ 目录下。
• 相机参数：相机外参/内参因任务而异（motherboard 为 5 月 12 日标定，pushT 为 6 月 26 日标定），详见源仓库。
• 手持操作：本数据集为手持采集，action 仅为下一帧位姿（便利目标），并非机器人控制指令。

许可协议

CC-BY-4.0。