xtac-umi-g1-bottle-to-cup
收藏资源简介：
TacVerse是一个双臂视觉-触觉操作数据集，使用XTac-UMI-G1手持夹爪收集，通过TacFlow-Engine处理，并以标准LeRobot数据集格式发布。该数据集包含10个演示片段（共19314帧），任务为“瓶子到杯子”（bottle-to-cup），提供了包括左右手末端执行器位姿、夹爪位置、头部姿态、以及多个视觉和触觉图像流（如头部左右摄像头、手腕摄像头、左右手触觉传感器）的观测数据，适用于模仿学习和机器人操作研究。
TacVerse is a dual-arm visuo-tactile manipulation dataset, collected using the XTac-UMI-G1 handheld gripper, processed by TacFlow-Engine, and released in the standard LeRobot dataset format. This dataset contains 10 demonstration episodes (total 19314 frames) for the task bottle-to-cup, providing observation data including left and right end-effector poses, gripper positions, head pose, and multiple visual and tactile image streams (e.g., head left/right cameras, wrist cameras, left and right tactile sensors), suitable for imitation learning and robotic manipulation research.
数据集概述
该数据集名为 TacVerse/xtac-umi-g1-bottle-to-cup，由 Xense Robotics 创建，属于机器人操作领域的双手机器人视觉-触觉模仿学习数据集。数据集基于 Hugging Face LeRobot 框架构建，记录了从瓶子到杯子的倒水或转移任务演示。
基本信息
- 许可证： cc-by-sa-4.0
- 任务类型： 机器人操作
- 标签： LeRobot、视觉-触觉、触觉感知、模仿学习、双手操作、UMI
- 主页： TacVerse/TacVerse
数据规模
- 总演示回合数： 10
- 总帧数： 19,314
- 总任务数： 1
- 采样频率： 30 FPS
- 数据文件大小： 约 100 MB
- 视频文件大小： 约 200 MB
- 数据划分： 训练集包含全部 10 个回合（splits: train 0:10）
数据特征
数据集包含动作、状态观测、追踪器置信度、多种图像流及时间戳等字段。其中动作和状态观测均为 29 维向量，包含左右机械臂 TCP 位姿（平移与旋转）、夹爪位置以及头部位姿信息。
图像传感器配置
| 图像键名 | 分辨率 | 说明 |
|---|---|---|
| observation.images.head_left | 480×640×3 | 头戴设备左眼相机 |
| observation.images.head_right | 480×640×3 | 头戴设备右眼相机 |
| observation.images.left_wrist | 480×640×3 | 左腕部相机 |
| observation.images.right_wrist | 480×640×3 | 右腕部相机 |
| observation.images.left_tactile_left | 400×700×3 | 左侧触觉传感器（左） |
| observation.images.left_tactile_right | 400×700×3 | 左侧触觉传感器（右） |
| observation.images.right_tactile_left | 400×700×3 | 右侧触觉传感器（左） |
| observation.images.right_tactile_right | 400×700×3 | 右侧触觉传感器（右） |
所有视频流均采用 H.264 编码、30 FPS，触觉图像已通过矫正处理（rectified），并包含相应的矫正配置参数。
数据采集设备
数据由 XTac-UMI-G1 手持式夹爪（配备 Xense Neutron 视觉-触觉传感器）采集，经 TacFlow-Engine 处理流水线生成，以标准 LeRobot 数据集格式发布。夹爪配备指尖触觉传感器与腕部相机，头戴设备提供双目视觉信息。
引用方式
如需引用，可使用如下 BibTeX： bibtex @misc{tacverse2026, title = {TacVerse: A Large-Scale Bimanual Visuo-Tactile Manipulation Dataset}, author = {Xense Robotics}, year = {2026}, howpublished = {url{https://huggingface.co/datasets/TacVerse/TacVerse}}, note = {Collected with the XTac-UMI-G1 handheld gripper and Xense Neutron visuotactile sensors} }
