xtac-umi-g1-block-to-box
收藏资源简介：
TacVerse：一个大规模的双手机器人视觉-触觉操作数据集。使用XTac-UMI-G1手持夹爪和Xense Neutron视觉-触觉传感器收集。TacVerse通过XTac-UMI-G1手持夹爪收集，经过TacFlow-Engine处理，并作为标准的LeRobot数据集发布。
TacVerse: A Large-Scale Bimanual Robot Visual-Tactile Manipulation Dataset. Collected using XTac-UMI-G1 hand-held gripper and Xense Neutron visual-tactile sensor. TacVerse is collected via XTac-UMI-G1 hand-held gripper, processed by TacFlow-Engine, and released as a standard LeRobot dataset.
数据集详情总结
基本信息
- 数据集名称：TacVerse/xtac-umi-g1-block-to-box
- 任务类型：机器人操作（robotics）
- 标签：LeRobot、视觉-触觉（visuo-tactile）、触觉（tactile）、模仿学习（imitation-learning）、操作（manipulation）、双臂（bimanual）、UMI
- 许可证：cc-by-sa-4.0
- 主页：TacVerse/TacVerse
数据集规模
- 总演示回合数：11
- 总帧数：13,500
- 总任务数：1
- 数据文件大小：100 MB（Parquet格式）
- 视频文件大小：200 MB（MP4格式）
- 数据分块大小：1000
- 帧率：30 FPS
数据划分
- 训练集：覆盖全部11个回合（episodes 0至10）
机器人类型
- 机器人型号：xtac_umi_g1（手持式夹爪）
- 任务内容：block-to-box（将方块放入盒子）
数据采集与处理
- 数据集采用XTac-UMI-G1手持式夹爪采集，搭载Xense Neutron视觉-触觉传感器
- 数据经TacFlow-Engine处理流水线处理后发布为标准LeRobot格式数据集
数据特征结构
动作与状态（action / observation.state）
- 均为29维float32向量，包含：
- 左/右机械臂末端TCP位姿（位置x/y/z + 旋转r1-r6，各9维）
- 左/右夹爪位置（各1维）
- 头部位姿（位置x/y/z + 旋转r1-r6，共9维）
观测图像（observation.images）
| 图像流 | 分辨率 | 通道数 | 说明 |
|---|---|---|---|
| head_left | 640×480 | 3 | 头部左侧立体相机 |
| head_right | 640×480 | 3 | 头部右侧立体相机 |
| left_wrist | 640×480 | 3 | 左腕相机 |
| right_wrist | 640×480 | 3 | 右腕相机 |
| left_tactile_left | 700×400 | 3 | 左手指尖左侧触觉传感器（已校正） |
| left_tactile_right | 700×400 | 3 | 左手指尖右侧触觉传感器（已校正） |
| right_tactile_left | 700×400 | 3 | 右手指尖左侧触觉传感器（已校正） |
| right_tactile_right | 700×400 | 3 | 右手指尖右侧触觉传感器（已校正） |
- 视频编码：H.264（yuv420p），帧率30 FPS，无声轨
- 触觉图像已进行矫正处理（rectified），包含详细的矫正配置参数
其他特征
- observation.tracker_confidence：2维float32，记录左右追踪器的置信度
- timestamp：时间戳（float32）
- frame_index / episode_index / index / task_index：帧、回合、索引及任务编号（int64）
引用方式
如需引用该数据集，请使用以下BibTeX： bibtex @misc{tacverse2026, title = {TacVerse: A Large-Scale Bimanual Visuo-Tactile Manipulation Dataset}, author = {Xense Robotics}, year = {2026}, howpublished = {url{https://huggingface.co/datasets/TacVerse/TacVerse}}, note = {Collected with the XTac-UMI-G1 handheld gripper and Xense Neutron visuotactile sensors} }
