T-Rex Dataset

T-Rex数据集是一个大规模、100小时的触觉反应数据集，通过一种数据高效的配方收集，优先考虑基本运动原语（22个原语、200多个对象、5400多个轨迹）；其中约50小时以LeRobot v3.0格式开源。数据集用于训练触觉反应策略，支持12个需要精细力控制和可变形物体操作的任务。

The T-Rex Dataset is a large-scale, 100-hour tactile response dataset collected via a data-efficient recipe, prioritizing basic movement primitives (22 primitives, over 200 objects, and more than 5400 trajectories). Approximately 50 hours of this dataset are open-sourced in the LeRobot v3.0 format. This dataset is utilized for training tactile response policies and supports 12 tasks that require fine force control and deformable object manipulation.

原始信息汇总

数据集概述

T-Rex（Tactile-Reactive Dexterous Manipulation） 是一个面向触觉反应型灵巧操作的大规模数据集。

• 数据集规模：总时长约 100 小时，其中开源约 50 小时。
• 数据构成：包含 5,400 多条轨迹，覆盖 22 种基本运动基元，涉及 200 多个物体。
• 采集平台：使用双臂 Dexmate Vega-1 机器人，配备两个 Sharpa Wave 灵巧手。
• 传感器模态：
  • 三路 RGB 视频：头部、左手腕、右手腕。
  • 状态与动作：当前与目标关节位置。
  • 触觉传感器：每指尖 10 张 原始灰度图像、估计变形图、估计的 6 维力/力矩。
• 数据格式：以 LeRobot v3.0 格式发布，托管于 Hugging Face Hub： https://huggingface.co/datasets/zekaiwang/trex_dataset
• 数据使用：提供独立的 快速启动套件，包含 Colab 笔记本，支持无需完整下载即可浏览、检查与重放数据。快速启动地址：https://github.com/ZhuoyangLiu2005/T-Rex/blob/main/dataset_quickstart/README.md

方法亮点

• 异步混合专家变换器（Asynchronous Mixture-of-Transformers, MoT）：基于 Qwen3-VL-2B 骨干网络，包含潜在（推理）、动作、触觉三个专家，以不同速率运行（动作去噪约 5 Hz，触觉精炼约 20 Hz），通过级联流匹配耦合，使策略能在动作块内对接触做出响应。
• 时序触觉 VQ-VAE：对高频力/变形信号进行时序量化编码，嵌入模型中，实时编码。
• 三阶段训练：大规模无触觉预训练 → 触觉反应中段训练 → 任务特定后训练。
• 性能提升：在 12 项 精细力控与可变形物体操作任务上，平均成功率比最强基线 高 30% 以上。

模型仓库

提供在 Hugging Face Hub 上的检查点，可直接用于任务微调：

检查点	阶段	说明
miniFranka/T-Rex_pretrain_mecka22k_epoch1	预训练	约 22k 无触觉 episode 上的 VLM-动作对齐（1 epoch）。
miniFranka/T-Rex_midtrain_mecka23k_ucb100_vqvae_epoch6	中段训练	触觉反应型（级联流 + 嵌入 VQ-VAE），6 epochs。推荐从此开始微调。

硬件与遥操作栈

完整的遥操作与数据采集硬件代码位于 hardware_code/ 目录，包括：

• Manus 数据手套 + VIVE 追踪器 遥操作方案。
• 全臂逆运动学与碰撞避免 控制。
• 相机/触觉流式传输与同步录制（HDF5 + MP4 + 无损压缩触觉视频）。
• 机器人端推理客户端（支持慢/快协议服务器）。

数据准备（自定义任务）

用户需将自己的任务 episode 按指定目录结构组织，并转换为以下两种格式之一进行后训练：

1. JSON 格式（默认）：通过 utils/gen_json_tac_deltabase_eef_bimanual_parallel.py 生成。
2. LeRobot v3.0 格式（可选）：通过 utils/convert_inlab_to_lerobot.py 转换。

触觉码默认由嵌入的 VQ-VAE 实时编码，无需预烘焙。

知识引用

• 项目主页：https://tactile-rex.github.io/
• 论文（arXiv）：https://arxiv.org/abs/2606.17055
• 数据集（Hugging Face）：https://huggingface.co/datasets/zekaiwang/trex_dataset

搜集汇总

数据集介绍

构建方式

T-Rex数据集由UC Berkeley、NVIDIA、Stanford等机构联合构建，旨在推动触觉反应灵巧操作的研究。数据集通过一套新颖的、数据高效的采集方案生成，优先收集基础的电机运动基元（共22种），涵盖200余种不同物体，累计超过5400条轨迹，总时长约100小时。其中约50小时的子集采用LeRobot v3.0格式开源发布。采集平台为双臂Dexmate Vega-1机器人，配以两只Sharpa Wave灵巧手，通过Manus数据手套与VIVE追踪器进行遥操作，同步记录头部、左右腕部RGB视频、关节状态、动作指令以及每个指尖的触觉传感器原始灰度图像、变形估计图和六维力估计值。

使用方法

用户可通过Hugging Face Hub上的LeRobotDataset v3.0接口直接访问开源子集。提供的快速启动笔记本（Colab兼容）支持无完整下载即可浏览、检查与回放数据，包括选择性按片段下载和基于真实URDF模型的3D重放。对于自行采集的任务数据，需将原始片段按成功/失败目录组织（含.h5与.mp4文件），利用配套的工具脚本转换为JSON或LeRobot v3.0格式。模型从预训练检查点开始，通过三步训练流程（无触觉预训练→触觉反应中训练→任务特定后训练）进行微调。后训练与推理均依托ZMQ通信协议，支持慢速/快速双频交互，实现灵活部署。

背景与挑战

背景概述

触觉感知在灵巧操作领域占据核心地位，被视为实现类人敏捷操作的关键能力。然而，现有基于学习的视觉-语言-动作模型在机器人操作中普遍忽视触觉模态，或仅依赖提供静态线索的编码器，根源在于多样化训练数据的匮乏、标准化评估的缺失以及架构上的局限性。为突破这一瓶颈，来自加州大学伯克利分校、英伟达、斯坦福大学等研究机构的Dantong Niu、Zhuoyang Liu、Zekai Wang等于2025年创立了T-Rex Dataset。该数据集通过一种优先考虑基本运动原语（涵盖22种原语、200余个物体、5400余条轨迹）的高效数据收集策略，采集了长达100小时的触觉反应数据集，并开源了约50小时的子集。T-Rex Dataset的核心创新在于引入了可变速率混合变换器架构与时域触觉向量量化变分自编码器，能够在不牺牲现有视觉-语言-模型能力的前提下，高效利用天然高频的触觉信号，在12项需要精细力控与可变形物体操作的接触密集型任务中，平均成功率较最强基线提升超过30%，为触觉反应的灵巧操作研究奠定了坚实的数据与模型基础。

当前挑战

T-Rex Dataset面临的挑战涵盖领域核心问题与构建过程两大维度。在领域问题层面，当前触觉反应操作研究受限于三大瓶颈：多样化训练数据的极度匮乏导致模型泛化能力不足；标准化评价体系的缺失使得不同方法难以公平比较；现有视觉-语言-动作模型架构对高频触觉信号的融合存在天然局限，静态触觉编码器无法捕捉动态接触变化。在数据集构建过程中，主要挑战包括：设计能够优先采集基本运动原语的高效数据采集策略，以在有限资源下最大化数据多样性；构建集成Manus手套与VIVE追踪器的复杂遥操作系统，实现双臂全臂逆运动学与碰撞避免的精准控制；同步采集头部、左右腕部的RGB视频、每指尖的图像触觉传感器原始灰度图、变形估计图及六维力/力矩数据，并确保多模态数据流的高保真同步；将原始轨迹数据高效转换为LeRobot v3.0等标准化格式，同时保持归一化计算的字节级一致性，为用户提供便捷的数据探索与复现实例。

常用场景

经典使用场景

在灵巧操作这一前沿领域，T-Rex Dataset专为触觉反馈与机器人灵巧操作的深度融合而设计。其经典使用场景聚焦于高频触觉信号的在线感知与即时响应，研究人员可利用该数据集训练能对指尖接触力、形变等高频率触觉信息进行实时反应的操作策略。数据集中包含超过5400条轨迹，涵盖22种基础运动原语与200余种操作对象，覆盖了精密力控与可变形物体操作等复杂任务场景。通过该数据集，研究者能够构建出具备触觉-反应式闭环控制能力的灵巧手操作模型，彻底突破传统视觉-语言-动作模型仅依赖视觉与静态触觉编码的局限。

解决学术问题

T-Rex Dataset的引入有效解决了灵巧操作领域中触觉-反应式学习长期面临的三大瓶颈：大规模多样化触觉训练数据匮乏、标准化评估体系缺失，以及现有VLA模型架构对高频触觉信号的容纳能力不足。它推动了对柔性物体操作、精密装配、力控抓取等任务中触觉反馈机制的深入理解，为建立触觉驱动的操作学习理论提供了坚实的数据基础。该数据集及其伴随的变速率混合专家Transformer架构，成功将操作成功率相较于最优基线提升了30%以上，标志着触觉反应式机器人操作研究迎来了具有里程碑意义的范式突破。

实际应用

在实际应用层面，T-Rex Dataset为灵巧机器人的产业化落地提供了触觉-反应式技能的可靠数据支撑。基于该数据集训练的操作策略可应用于精密装配线上微小零件的柔顺装配、手术辅助机器人的组织夹持与缝合、食品加工行业中对易碎物体的无损抓取，以及工业生产中柔性线束的自动化整理与插接等场景。数据集内嵌的硬件同步采集与ZMQ实时推理通信协议，使其能直接部署于双臂灵巧手平台，确保高频触觉反馈与底层运动控制环路的无缝协同，为从实验室研究到真实工业场景的技能迁移提供了高效的技术桥梁。

数据集最近研究

最新研究方向

触觉反馈灵巧操作是具身智能领域的前沿方向，T-Rex数据集聚焦于解决当前视觉-语言-动作模型在动态触觉感知与响应上的短板。该研究通过大规模收集100小时触觉反应数据，提出变速率混合专家Transformer架构与时序触觉VQ-VAE编码器，实现了在精细力控与软体操作等12项复杂任务中超过最强基线30%的成功率提升。这项工作不仅为灵巧操作提供了标准化评估基准，还通过开源约50小时子集与预训练模型，推动了触觉感知与机器人操作系统的深度融合，对工业精密装配、医疗手术辅助等现实应用具有重要价值。