TactiDex

TactiDex是由上海科技大学与InstAdapt联合创建的首个面向真实世界触觉引导的灵巧操作基准数据集，旨在推动人机交互从运动模仿迈向接触级物理真实感。该数据集规模宏大，包含510万帧数据，涵盖49种校准物体和757条交互序列，通过高精度动作捕捉系统与触觉手套同步采集了全手触觉压力信号、精细手部运动学、手腕及物体6D位姿等多模态数据流。其构建过程采用创新的双层手套设计，严格同步触觉与运动学测量，并辅以交互阶段标注和自然语言描述，为研究提供了物理可测且语义丰富的基准。该数据集主要应用于触觉感知的灵巧操作策略学习领域，旨在解决现有方法因缺乏触觉物理基础而导致的接触行为失准和力调制失真问题，为实现类人化的物理交互对齐奠定关键数据基础。TactiDex is the first benchmark dataset for real-world tactile-guided dexterous manipulation, jointly developed by ShanghaiTech University and InstAdapt. It aims to advance human-robot interaction from motion imitation to contact-level physical realism. This large-scale dataset comprises 5.1 million frames of data, covering 49 calibrated objects and 757 interaction sequences. Multi-modal data streams including full-hand tactile pressure signals, fine-grained hand kinematics, and 6D poses of the wrist and objects were synchronously collected via high-precision motion capture systems and tactile gloves. Its construction adopts an innovative dual-layer glove design to strictly synchronize tactile and kinematic measurements, supplemented by interaction phase annotations and natural language descriptions, providing a physically measurable and semantically rich benchmark for research. This dataset is primarily applied to the field of learning dexterous manipulation strategies based on tactile perception, aiming to address the issues of inaccurate contact behaviors and distorted force modulation in existing methods caused by the lack of tactile physical foundations, and lay a critical data foundation for achieving human-like physical interaction alignment.

原始信息汇总

TactiDex 数据集详情

1. 数据集简介

• 名称: TactiDex: A Real-World Tactile-Guided Benchmark for Human-Like Dexterous Manipulation
• 核心目标: 提供一个真实世界的触觉引导基准，推动灵巧操作从运动学模仿走向接触级的人机相似性。
• 发布时间: 2026年（arXiv预印本）。
• 论文与代码: 论文见 arXiv，视频见项目页面。

2. 数据采集与硬件

• 硬件系统:
  • 高精度运动捕捉系统。
  • 新型双层手套设计：
    • 内层：捕捉手部运动学数据。
    • 外层：带有触觉传感器的全手压力图（通过eSync模块严格同步）。
  • 操作对象通过3D扫描进行数字化重建。
• 采集内容: 用户执行复杂、高接触交互任务（如双手研磨），在捕捉空间内记录数据。

3. 数据集内容与模式

• 数据类型: 严格同步的多模态数据流，包含：
  • 触觉信号
  • 手部运动学数据
  • 手-物体6D姿态
• 标注: 丰富的语言描述与层次化的任务阶段注释。

4. 核心方法与框架

• TactiSkill: 基于新提出的三组件触觉奖励的框架，将触觉信号用作结构化监督信号，统一指导、人机对齐与接触约束。
• 流程:
  1. 数据采集与预处理：对原始多模态信号进行两阶段触觉约束后优化与传感器到仿真映射，得到物理对齐的TactiDex数据集。
  2. 触觉引导的三组件迁移框架：使用非对称Actor-Critic架构训练残差跟踪策略，Critic接收特权仿真接触力，通过物理感知三组件奖励（触觉引导、人机对齐、接触约束）强制执行级别的人机相似性。
  3. 真实世界部署：组合策略实现零样本仿真到现实迁移，在实际机器人硬件上完成多样任务。

5. 任务与演示

• 单手与双手任务: 涵盖单手（左手/右手）与双手操作。
• 示例任务:
  • 单手：
    • 右手：玩乒乓球、喝水、吃苹果
    • 左手：打电话、检查烧杯、倒水
  • 双手：
    • 倒酱、切菠萝、开盖、用双手递动键盘、封口与盖章、书本与书架操作等。

6. 实验结果

• 仿真结果: TactiSkill策略在触觉监督下建立物理接地接触，避免不自然悬空或穿透。
• 真实世界结果: 在双手机器人平台（Franka Inspire）上成功部署，展示触觉丰富的操作快照。
• 定性对比: 与仅运动学的基线相比，TactiSkill能实现与不同物体几何形状的紧密稳定接触，消除穿透与悬空伪影。

7. 引用格式

@misc{ni2026tactidexrealworldtactileguidedbenchmark, title = {TactiDex: A Real-World Tactile-Guided Benchmark for Human-Like Dexterous Manipulation}, author = {Suting Ni and Hanbing Zhang and Zhenyu Wei and Guo Chen and Chixuan Zhang and Ye Shi and Jingya Wang}, year = {2026}, eprint = {2607.09190}, archivePrefix = {arXiv}, primaryClass = {cs.RO}, url = {https://arxiv.org/abs/2607.09190}, }

搜集汇总

数据集介绍

构建方式

TactiDex数据集通过整合高精度运动捕捉系统、定制化双手套装置与3D扫描技术构建而成。内层采用MANUS Metagloves Pro捕捉手指关节运动学，外层配备含162个传感单元的柔性触觉手套记录全手掌压力分布（力分辨率0.01N，采样率17Hz），两者经eSync模块硬件同步。八台OptiTrack PX13W相机（120fps）在1.2m×1.8m工作空间内追踪手腕与物体的6D位姿。49个经3D重建的日常物品由10名受试者执行757段单/双手交互序列，涵盖从抓取到工具使用的多层级任务。原始数据经SDF碰撞感知优化与触觉约束二阶段矫正，确保运动学精确性与物理真实性。

使用方法

研究者可通过项目页面获取同步化的触觉压力图、MANO参数化运动学、手腕与物体6D轨迹及网格模型。数据适用于触觉引导的人-机器人灵巧操作迁移研究，典型应用包括：采用TactiSkill框架训练残差强化学习策略，其中触觉奖励包含接触引导（二进制接触奖励）、类人对齐（Tanh距离度量的力分布匹配）和安全约束（指数力峰值惩罚）三组件。基于Isaac Gym仿真环境（60Hz物理步长），策略可直接零样本迁移至Franka-Inspire双臂平台，通过离线运动学重定向与操作空间控制器实现物理硬件部署。配套AC网络架构利用非对称观察设计，确保策略学习过程兼顾稳定性与力级保真度。

背景与挑战

背景概述

TactiDex是由上海科技大学与InstAdapt团队于2026年联合推出的真实世界触觉引导灵巧操作基准数据集。核心研究问题在于突破传统灵巧操作仅依赖运动学轨迹的局限，通过同步采集全手触觉信号、高精度手部运动学、腕部六自由度位姿及物体六自由度轨迹，构建首个面向类人灵巧操作的触觉-运动学对齐基准。该数据集包含49种校准物体与757段交互序列，覆盖单双手复杂操作场景，其创新性在于将触觉感知从辅助模态提升为结构化监督信号，为触觉感知的灵巧操作研究奠定了数据基础与方法范式，对推动类人机器人灵巧操作领域具有里程碑式影响力。

当前挑战

该数据集所解决的领域核心挑战在于实现从纯运动学模仿向接触级物理逼真操作的跨越。传统方法忽视触觉动态特征，导致机器人在力调节与接触稳定性上出现显著偏差。数据构建过程中面临两大技术挑战：其一，需实现高精度运动捕捉系统（120Hz）与低频触觉手套（17Hz）的硬件级帧同步，通过eSync模块解决了跨模态时间对齐难题；其二，触觉引导的后优化阶段需要消除运动学拟合产生的物理穿透与漂浮伪影，通过两阶段触觉约束优化算法，利用触觉门控的几何邻近性过滤虚假接触，并结合符号距离场碰撞感知调整实现了物理逼真的交互注释。

常用场景

经典使用场景

TactiDex数据集在灵巧操作领域最具代表性的应用场景，是作为触觉引导的人到机器人操作技能迁移的基准平台。研究者利用该数据集中同步采集的全手触觉信号、精细手部运动学及物体六自由度轨迹，设计接触感知的强化学习框架，使得机械手不仅能够复现人类演示的运动轨迹，更能真正学习到接触形成、力调制与抓取稳定性等物理交互层面的人类灵巧性。该场景尤其适用于需要精细力控制的单臂与双臂操作任务，如抓取易碎物品、使用工具或进行物体间传递等操作。

解决学术问题

TactiDex数据集有效解决了当前灵巧操作领域一个核心学术困境——即单纯依赖运动学轨迹的迁移方法无法确保接触行为的物理真实性。传统方法仅关注空间位姿对齐，却忽视了力调制与接触模式在操作中的关键作用，导致机器人往往能模仿动作表象却产生不稳定的抓取或受力异常。该数据集通过提供高精度的时序对齐触觉信号作为物理真值，并配套标准化接触评估指标，使得研究者能够量化衡量迁移策略的力接触相似度、安全性及物理合理性，从而推动灵巧操作从纯运动模仿迈向物理真实的类人交互层次。

实际应用

在实际应用中，TactiDex数据集为机器人完成精细、接触密集型的日常操作任务提供了坚实的训练基础。基于该数据集训练的触觉引导策略，可直接零样本迁移至真实双手臂平台（如Franka和Inspire灵巧手），可靠地执行拨打手持电话、用锅铲翻炒食物、传递野餐篮等复杂操作。在食品处理、精密装配、医疗辅助等领域，这种具备触觉感知能力的灵巧操作技术能够显著提升机器人在非结构化环境中应对易碎物品或变力需求任务的成功率与安全性，弥补纯视觉系统在接触界面感知的局限性。

数据集最近研究

最新研究方向

在灵巧操控领域，当前的前沿研究正从传统的运动学模仿范式转向融合触觉反馈的物理一致性操控。TactiDex 数据集正是这一转向的关键推手，它通过提供大规模、高精度的真实世界全手触觉信号与多粒度运动学及物体状态对齐的数据，填补了现有基准在触觉感知基础上的空白。基于此，研究者提出了 TactiSkill 框架，其核心创新在于设计了一种三组件触觉奖励机制，将触觉信号转化为结构化监督，用于指导机器人在强化学习中生成物理上可信的抓取与操作行为。该方向不仅显著提升了操控的成功率与物理逼真度，更关键的是，它打通了从单纯模仿人手运动轨迹到复现接触级物理一致性的通道，为未来灵巧手在复杂、长时程任务中的自主执行奠定了坚实基础，具有推动具身智能向更真实、更安全的人机交互演进的重要意义。

相关研究论文

• TactiDex: A Real-World Tactile-Guided Benchmark for Human-Like Dexterous Manipulation

  上海科技大学; InstAdapt · 2026年