xtac-umi-g1-insert-optical-module

TacVerse是一个双机械手视觉-触觉操作数据集，使用XTac-UMI-G1手持夹爪收集，通过TacFlow-Engine处理，以标准LeRobot数据集格式发布。包含10个演示片段（episodes），单个任务，共17585帧，帧率30fps，包括多视角图像（头部左右、腕部左右、触觉左右）以及状态和动作数据。TacVerse is a dual-manipulator visuo-tactile manipulation dataset collected using the XTac-UMI-G1 handheld gripper, processed by the TacFlow-Engine, and released in the standard LeRobot dataset format. It contains 10 demonstration episodes for a single task, totaling 17,585 frames at 30fps, including multi-view images (head left/right, wrist left/right, tactile left/right) as well as state and action data.

原始信息汇总

数据集概述

该数据集为 xtac-umi-g1-insert-optical-module，由 Xense Robotics 的 TacVerse 项目发布，专注于双手机器人视觉-触觉操作任务。数据集采用 LeRobot 格式构建，具体任务是插入光模块，共采集了 10 个演示回合（episodes），总计 17,585 帧，对应单一任务类型。

采集设备与流程

• 硬件平台: 采用 XTac-UMI-G1 手持式夹爪进行数据采集。
• 处理管线: 数据经由 TacFlow-Engine 处理，最终以标准 LeRobot 数据集格式发布。
• 传感器配置:
  • 头部立体相机（左/右），分辨率 480×640。
  • 左右腕部相机，分辨率 480×640。
  • 左右夹爪指尖触觉传感器（各包含左/右两个触觉阵列，共四路图像流），分辨率 400×700，且已完成触觉图像的矫正（rectified）。

数据规模与格式

• 总帧数: 17,585 帧
• 数据文件: Parquet 格式，约 100 MB
• 视频文件: MP4 (H.264) 格式，约 200 MB
• 帧率: 30 FPS
• 分割: 所有数据均作为训练集使用

特征与标注

每个数据样本包含以下特征：

• 动作 (action): 29 维向量，包括左右 TCP（工具中心点）的位姿（位置+旋转四元数）、左右夹爪开合度、以及头部位姿。
• 状态观测 (observation.state): 29 维向量，内容与动作空间相同。
• 追踪器置信度 (observation.tracker_confidence): 2 维向量，记录左右追踪器的置信度分数。
• 图像观测 (observation.images): 共 8 路视频流，包括头部左右相机、左右腕部相机、左右手各两路触觉图像。
• 时间戳、帧索引、回合索引、任务索引等元数据。

数据集结构与使用

• 数据格式: 数据以 Parquet 分块文件存储，路径为 data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet。
• 视频存储: 视频以 MP4 格式按视频流类型和分块路径存储。
• 许可证: 采用 CC-BY-SA-4.0 许可证。
• 相关资源: 更多关于数据集的整体介绍可访问其主页（TacVerse/TacVerse），并可使用 LeRobot 数据集查看器进行可视化探索。

引用

若需引用该数据集，可使用提供的 BibTeX 条目，作者为 Xense Robotics，年份为 2026，并注明数据采集工具为 XTac-UMI-G1 手持夹爪与 Xense Neutron 视觉-触觉传感器。