T-Rex Dataset

T-Rex数据集是由加州大学伯克利分校和英伟达等机构联合创建的大规模触觉同步双手机器人操作数据集，旨在为触觉反应式灵巧操作提供训练基础。该数据集包含100小时的触觉同步遥操作数据，涵盖7700多条轨迹，涉及200多种日常物体和22种运动基元，数据来源为真实机器人遥操作，并同步记录了RGB观测、触觉信号、机器人状态和语言指令。数据集通过围绕动词-名词组合设计，优先采集基础运动基元，以高效覆盖丰富的接触行为。该数据集主要应用于机器人灵巧操作领域，旨在解决触觉反应式策略学习中触觉数据稀缺的问题，支持模型在插入、变形、力敏感交互等接触密集型任务中实现高频闭环控制。The T-Rex Dataset is a large-scale tactile-synchronized dual-arm robotic manipulation dataset jointly created by institutions including the University of California, Berkeley and NVIDIA, aiming to provide training foundations for tactile-responsive dexterous manipulation. It contains 100 hours of tactile-synchronized teleoperation data, covering over 7700 trajectories, involving more than 200 daily objects and 22 types of movement primitives. The data is sourced from real robotic teleoperation, with synchronized recordings of RGB observations, tactile signals, robot states and language instructions. Designed around verb-noun combinations, the dataset prioritizes the collection of basic movement primitives to efficiently cover diverse contact behaviors. This dataset is primarily applied in the field of robotic dexterous manipulation, aiming to address the issue of scarce tactile data in tactile-responsive policy learning, and supports models in achieving high-frequency closed-loop control in contact-intensive tasks such as insertion, deformation, and force-sensitive interaction.

原始信息汇总

T-Rex: Tactile-Reactive Dexterous Manipulation 数据集总结

数据集概览

T-Rex 是一个大规模、触觉同步的机器人操作数据集，专注于触觉反应性灵巧操作。数据集总时长为 100 小时，通过遥操作收集，覆盖 207 种日常物体 与 22 种运动基元 的组合，形成 502 个独特的、有意义的物体-基元对，每个组合约含 17 个演示。

数据采集平台

• 机器人平台：双机械臂 Dexmate Vega-1，配备两个 7-DoF 手臂和两个 22-DoF Sharpa Wave 灵巧手，每只手有 5 个指尖触觉传感器。
• 视觉感知：头戴 ZED X Mini 立体摄像头 + 两个广角腕部摄像头。
• 遥操作：使用 Manus 手套和 VIVE 追踪器。
• 数据频率：每条演示以 30 Hz 记录时间对齐的数据束，包括：三个 RGB 视频流、双臂本体感觉、SE(3) 腕部姿态、每个指尖的触觉数据（变形深度图 + 六维力/力矩）及语言指令，底层控制线程为 300 Hz。

数据集统计

• 类别分布：个人护理 (7.9%)、五金工具 (7.5%)、玩具 (8.6%)、厨房 (5.9%)、包装胶带 (14.0%)、电子产品 (9.7%)、布料 (13.3%)、服装 (6.7%)、容器 (14.1%)、纸笔 (12.3%)
• 运动基元覆盖：包裹、提起放置、抓取提起、折叠、切割、伸够、插入、按压、擦拭、剥离、组装、抽取、扭转、摇晃、分配、拆卸、挤压、倾倒、打开、关闭、拧入、拧开
• 数据分布：演示数量呈长尾分布，覆盖超过 200 种日常物体

数据集特点

• 采用数据高效策略：优先广泛覆盖基础运动基元（短程、可复用的接触丰富行为），而非追求少数长任务
• 每个演示围绕 物体 × 运动基元 组合构建
• 提供交互式可视化工具，支持按物体和运动基元筛选浏览

应用场景

数据集用于训练 T-Rex 模型，在 12 个真实世界触觉反应性任务 上进行评估，涵盖：

• 力敏感接触任务：翻转书页、转移鸡蛋、擦拭盘子、涂抹牙膏
• 变形感知任务：分离杯子、分类麻将、开锁、补充药片
• 双机械臂力变形任务：酸碱中和、抽取卡片、发牌、拧灯泡

对比基线表现

T-Rex 在全部 12 个任务上均取得最佳结果，宏平均成功率 65%，比最强基线（EgoScale，35%）高出 30 个绝对百分点。对比方法包括 ViTacFormer (3%)、RDP (6%)、Tactile-VLA (15%)、π0.5 (17%)、π0.5 + tactile (6%)、EgoScale (35%)。

搜集汇总

数据集介绍

构建方式

T-Rex数据集通过创新性的数据高效采集方案构建，总计包含100小时的真实机器人遥操作数据。数据集围绕22种基础运动基元与超过200种日常物品的组合进行组织，形成502种独特的物体-运动基元配对，覆盖7700余条轨迹。采集过程中，每位操作员利用Manus手套与VIVE追踪器进行双臂灵巧手遥操作，同步记录头部与腕部RGB视觉流、机器人状态、每指尖的六维力向量与形变图，以及自然语言指令。数据集还引入六种桌面背景与随机干扰物来增强场景多样性，并通过VLM自动生成语言标注后人工校验，确保质量。

特点

该数据集的核心特点在于其大规模的触觉同步性与接触行为的丰富覆盖。与现有以平行夹爪或抓取为中心的数据集不同，T-Rex专门面向触觉反应式灵巧操作，包含22种运动基元如滑动、挤压、剥离、包裹、擦拭、插入与提取等，覆盖了日常接触密集型操作的广泛行为谱系。每条轨迹均提供高频率的触觉力与形变信号，与视觉和多关节状态严格时间对齐，为训练闭环触觉控制策略提供了前所未有的数据基础。此外，数据集中自然语言指令的引入赋予其语言引导的泛化能力。

使用方法

数据集专为触觉反应式策略的中间训练阶段设计，采用三阶段训练范式使用。首先在大规模人类自我中心视频上进行预训练，获取广义视觉运动先验。随后利用T-Rex数据集进行触觉嵌入的中间训练，将视觉运动先验对齐至机器人可执行的接触动力学，训练触觉专家以执行高频去噪。最后在特定技能上利用约100条示范进行后训练微调。这种策略使得模型在下游任务中以极少的任务数据即可实现零样本或小样本的高效泛化，在12项接触密集型操作任务中，相较于最强基线获得超过30%的平均成功率提升。

背景与挑战

背景概述

T-Rex数据集由加州大学伯克利分校、英伟达、斯坦福大学等多家顶尖机构于2026年联合创建，旨在突破灵巧操作中触觉反应能力的瓶颈。该数据集的核心研究问题在于如何将高频触觉信号有效整合至视觉-语言-动作（VLA）模型中，以实现类似人类的敏捷操作。通过收集100小时的双臂遥操作数据，涵盖22种运动基元与200余种日常物体的交互，T-Rex为触觉驱动的灵巧操作提供了前所未有的训练资源，其影响力体现在成功将复杂接触任务的成功率提升30%以上，为灵巧操作领域树立了新的基准。

当前挑战

T-Rex数据集面临的首要领域挑战是触觉反应操作中高频触觉信号与低频视觉规划之间的频率失配问题，现有VLA模型难以在不牺牲原有能力的前提下有效利用触觉信息。在构建过程中，团队遭遇了触觉数据集稀缺的瓶颈，大规模同步视觉触觉数据采集成本极高，且需设计新颖的遥操作方案以覆盖多样化的接触行为。此外，硬件层面的传感器失真、标定漂移以及缺乏完整手掌感知能力，进一步加剧了数据收集与策略学习的难度，成为制约触觉反应操作发展的关键障碍。

常用场景

经典使用场景

T-Rex Dataset作为触觉反应灵巧操作领域的开创性大规模数据集，其经典使用场景集中于训练和评估能够实时响应触觉信号的灵巧操作策略。该数据集提供的100小时双臂遥操作数据，涵盖了200余种日常物体和22种运动基元，使得研究人员能够构建触觉反应控制框架，通过在混合专家变换器架构中融合低频视觉运动规划与高频触觉优化，实现对接触丰富操作的精细调控。

实际应用

在实际应用层面，T-Rex Dataset推动灵巧机器人从单纯依赖视觉的操作向触觉反应型操作的跨越。该数据集训练的策略能够精准执行需要精细力控的日常生活任务，如轻柔转移鸡蛋、翻转书页、挤出牙膏、分离嵌套杯、开锁以及拆解卡片等。这些能力可广泛应用于服务机器人、精密装配、医疗操作以及软体对象操控等现实场景，大幅提升机器人在非结构化环境中的操作鲁棒性和适应性。

衍生相关工作

基于T-Rex Dataset的研究催生了一系列影响深远的经典工作，其中最具代表性的是混合专家变换器模型，该模型通过异步触觉修正机制将低频视觉运动规划与高频触觉优化解耦，实现了对接触丰富操作的敏捷闭环控制。相关工作还包括空间-时间触觉编码器、触觉引导的中间训练范式以及零样本泛化评估协议，这些工作共同推动了触觉反应灵巧操作从理论框架向实用系统的演进。