xtac-umi-g1-insert-rubber-stopper

TacVerse是一个双臂视觉-触觉操作数据集，使用XTac-UMI-G1手持夹爪收集，通过TacFlow-Engine处理，并以标准LeRobot数据集格式发布。数据集包含10个演示片段（共6204帧），单个任务，以30fps记录。观测数据包括：头部左右摄像头、左右手腕摄像头、左右指尖触觉传感器的图像，以及左右机械臂TCP位置、夹爪开合度、头部姿态等状态信息。动作数据与状态数据维度相同，包含29维向量。TacVerse is a dual-arm visuo-tactile manipulation dataset, collected using XTac-UMI-G1 handheld gripper, processed by TacFlow-Engine, and released in standard LeRobot dataset format. It contains 10 demonstration episodes (6204 frames), single task, recorded at 30fps. Observations include images from head left/right cameras, left/right wrist cameras, left/right fingertip tactile sensors, and state information such as left/right arm TCP positions, gripper openness, head pose. Action data has the same dimension as state, a 29-dimensional vector.

原始信息汇总

• 任务类型: 机器人操作（robotics），具体为双手（bimanual）视觉-触觉（visuo-tactile）模仿学习（imitation-learning）与操纵（manipulation）任务。

• 许可证: cc-by-sa-4.0

• 数据集描述: 该数据集由 TacVerse 创建，使用 XTac-UMI-G1 手持式夹爪采集，经 TacFlow-Engine 处理，并以标准 LeRobot 数据集格式发布。

• 总展示（episodes）: 10

• 总帧数（total_frames）: 6204

• 任务数: 1

• 采集频率（fps）: 30

• 数据划分: 仅包含训练集（train: 0:10）。

• 数据文件信息:

  • Parquet 数据文件总大小约100 MB。
  • 视频文件总大小约200 MB。
  • 每个数据块（chunk）包含1000帧。

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet

• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

• 机器人类型: xtac_umi_g1

• 传感器键位说明:

  • 触觉键（tactile keys）对应指尖传感器。
  • 腕部键（wrist keys）对应夹爪相机。
  • 头部键（head keys）对应头戴设备上的双目相机。

• 特征说明:

  • 动作（action）: 包含29维控制信号，涵盖左、右 TCP 位置与姿态（含旋转）、夹爪开合以及头部位姿（位置与旋转）。
  • 观测状态（observation.state）: 与动作维度一致（29维），表示当前系统状态。
  • 跟踪器置信度（observation.tracker_confidence）: 含左右两个跟踪器的置信度，共2维。
  • 视觉观测（observation.images）: 包括8路视频流：
    • head_left 和 head_right: 头部左右相机，分辨率480x640，3通道。
    • left_wrist 和 right_wrist: 腕部相机，分辨率480x640，3通道。
    • left_tactile_left, left_tactile_right, right_tactile_left, right_tactile_right: 触觉传感器图像，分辨率400x700，3通道，且已进行矫正（rectified）。
  • 所有视频均为H.264编码，30 fps，无音频，使用pyav后端。
  • 时间戳（timestamp）: 类型float32，单个数值。
  • 帧索引（frame_index）: 类型int64。
  • 展示索引（episode_index）: 类型int64。
  • 索引（index）: 类型int64。
  • 任务索引（task_index）: 类型int64。

• 引用信息: 数据集相关内容建议引用以下BibTeX：

  @misc{tacverse2026, title = {TacVerse: A Large-Scale Bimanual Visuo-Tactile Manipulation Dataset}, author = {Xense Robotics}, year = {2026}, howpublished = {https://huggingface.co/datasets/TacVerse/TacVerse}, note = {Collected with the XTac-UMI-G1 handheld gripper and Xense Neutron visuotactile sensors} }