TAMEn

TAMEn是一个专注于接触丰富的双手操作任务的触觉感知数据集，由复旦大学、上海创新研究院等多个机构联合创建。该数据集通过可穿戴的视觉-触觉接口收集，包含多模态数据，支持高精度运动捕捉和便携式野外数据采集。数据集的创建过程涉及实时可行性验证和AR辅助的恢复操作，旨在提升机器人操作的鲁棒性和适应性。TAMEn主要应用于机器人操作领域，特别是需要精细触觉反馈和复杂双手协调的任务，如物体抓取和操作。TAMEn is a tactile perception dataset focused on contact-rich dual-hand manipulation tasks, co-created by multiple institutions including Fudan University and Shanghai Institute of Innovation. The dataset is collected via wearable visual-tactile interfaces, contains multimodal data, and supports high-precision motion capture and portable field data collection. Its creation process involves real-time feasibility verification and AR-aided recovery operations, aiming to enhance the robustness and adaptability of robotic manipulation. TAMEn is mainly applied in the field of robotic manipulation, especially for tasks requiring fine-grained tactile feedback and complex dual-hand coordination, such as object grasping and manipulation.

原始信息汇总

TAMEn数据集概述

数据集名称

TAMEn: Tactile-Aware Manipulation Engine for Closed-Loop Data Collection in Contact-Rich Tasks

核心目标

构建一个用于双灵巧手接触式操作任务的闭环数据收集引擎，旨在解决手持式数据收集范式在硬件适应性和数据效能方面的关键挑战。

关键技术特点

1. 多模态人机接口：支持亚毫米级动作捕捉和基于VR的野外采集双模式流水线，并能快速适配异构夹持器。
2. 数据收集方案：在收集过程中进行实时验证，并将异构多模态数据组织成金字塔结构，用于分阶段学习。
3. 闭环数据飞轮：利用基于AR的触觉反馈遥操作系统（tAmeR），通过从现实失败案例中收集的纠正数据来优化策略。

数据收集模式

采用双模式采集流水线以平衡数据质量和环境多样性：

• 精确模式：利用动作捕捉技术进行高保真演示（亚毫米精度）。
• 便携模式：利用基于VR的跟踪进行野外采集，并利用基于AR的触觉可视化恢复遥操作（tAmeR）。

系统评估与性能

• 任务成功率提升：在多种双灵巧手接触式操作任务中，所提出的闭环视觉-触觉学习框架将平均任务成功率从34%提升至75%。
• 泛化能力：触觉预训练和恢复数据提高了策略在物体变化上的迁移能力。
• 鲁棒性：当视觉感知退化时，尤其是在接触密集的执行阶段，显著提高了策略的鲁棒性。

方法论概述

TAMEn在UMI范式基础上，在多模态、精度-便携性协同、可重放性和数据飞轮方面进行了关键增强：

• 通过双模式流水线（在动作捕捉和基于VR的跟踪之间快速切换）打破精度与便携性的权衡，采集丰富的多模态数据。
• 在线可行性检查确保演示能在机器人上可靠重放。所有数据被统一到金字塔结构中，以实现跨泛化、协调和失败恢复的高效分阶段学习。
• tAmeR系统帮助在策略执行期间收集带有触觉反馈的恢复数据，并将其反馈到金字塔中，以进行持续的策略优化。

搜集汇总

数据集介绍

构建方式

在接触密集的双臂操作任务中，TAMEn数据集的构建采用了一种闭环数据收集引擎。该系统设计了一种可穿戴的视觉-触觉接口，通过双模式采集管道平衡了数据质量与环境多样性：高精度模式利用运动捕捉技术获取亚毫米级精度的演示数据，便携模式则基于VR跟踪支持野外环境下的数据采集与触觉可视化恢复遥操作。在收集过程中，系统集成了在线可行性验证机制，确保所记录的轨迹能够在机器人上可靠回放，从而显著提升了演示数据的可执行性。

特点

TAMEn数据集的核心特点在于其金字塔结构的数据体系与多模态融合能力。该体系将大规模单臂触觉预训练数据、任务特定的双臂演示数据以及人在回路中的恢复数据统一组织，支持从泛化、协调到故障恢复的分阶段学习。数据集不仅包含高分辨率的视觉与触觉同步观测，还通过增强现实遥操作系统tAmeR实现了在策略执行过程中带有真实触觉反馈的恢复数据收集，形成了闭环数据飞轮，持续优化策略的鲁棒性。

使用方法

该数据集的使用遵循分阶段学习框架，对应其金字塔数据体系。研究者可首先利用大规模单臂触觉数据进行表征预训练，获取广泛的接触动态先验；随后，任务特定的双臂演示数据用于微调，学习协调的接触密集行为；最后，通过集成在策略诱导故障状态下收集的恢复数据，采用DAgger式更新循环进行策略细化，使策略逐步适应其自身执行诱导的状态分布。这种结构不仅支持高效的策略初始化与任务适应，还实现了在视觉退化或对象外观变化条件下的鲁棒泛化。

背景与挑战

背景概述

在机器人操作领域，接触丰富的双手任务因其对协调性和精细感知的严苛要求而成为研究难点。TAMEn（Tactile-Aware Manipulation Engine）数据集由复旦大学、上海交通大学、香港大学OpenDriveLab等机构的研究团队于2026年提出，旨在构建一个闭环数据收集引擎，以解决双手操作中视觉与触觉多模态数据的高效采集与策略学习问题。该数据集的核心创新在于通过可穿戴的视觉-触觉接口与双模式采集管道，实现了高精度运动捕捉与便携式VR跟踪的协同，从而为接触密集型任务提供了大规模、高质量的演示与恢复数据。其金字塔结构的数据体系不仅支持从泛化到协调再到故障恢复的阶段性学习，而且通过增强现实遥操作系统tAmeR实现了策略的持续优化，显著提升了相关任务的成功率，对推动机器人多模态感知与操作研究具有重要影响力。

当前挑战

TAMEn数据集致力于解决接触丰富的双手操作任务中策略学习的核心挑战，其首要难题在于如何高效获取兼具高保真度与可执行性的多模态演示数据。传统手持式数据收集方法常面临跟踪精度与便携性之间的权衡，且缺乏对机器人侧运动可行性的实时验证，导致采集的轨迹难以在机器人上可靠复现。此外，在策略执行过程中，缺乏对近故障状态的真实触觉反馈数据进行收集，限制了策略在动态接触变化下的鲁棒性。构建过程中的挑战则体现在硬件接口的跨形态适配、结构化运动捕捉在遮挡环境下的稳定性维护，以及如何将异构的大规模单臂触觉数据、任务特定的双手演示数据与在线恢复数据统一整合为一个支持闭环学习的数据金字塔体系。

常用场景

经典使用场景

在接触丰富的双手机器人操作领域，TAMEn数据集被广泛用于构建闭环的视觉-触觉学习框架。其经典使用场景涉及通过可穿戴界面收集大规模的多模态演示数据，结合高精度运动捕捉与便携式VR跟踪的双模式采集管道，有效支持了从草药转移、电缆安装到洗碗等复杂任务的轨迹记录。该数据集特别强调在线可行性验证，确保采集的演示能在机器人上可靠重放，从而为模仿学习提供了高质量、可执行的训练样本。

衍生相关工作

TAMEn数据集衍生了一系列经典研究工作，特别是在视觉-触觉操作接口与闭环策略学习领域。基于其硬件设计和数据采集范式，后续研究扩展了多传感器兼容性、跨形态夹爪适配以及触觉表示学习等方面。例如，类似UMI风格的通用操作接口在TAMEn的启发下进一步优化了跟踪精度与便携性的平衡，而基于触觉预训练和DAgger式更新的策略学习方法也在多阶段操作任务中得到了广泛应用和验证。

数据集最近研究

最新研究方向

在机器人触觉感知与灵巧操作领域，TAMEn数据集的研究前沿聚焦于构建闭环触觉-视觉数据收集与策略学习系统。该数据集通过可穿戴式触觉感知接口与双模态采集管道，解决了接触密集型双手操作任务中数据质量与可移植性的权衡难题，并引入了在线可行性验证机制，显著提升了演示数据的可重放性。其金字塔结构的数据体系整合了大规模单臂触觉预训练、任务特异性双手演示以及基于增强现实的恢复数据，形成了持续优化的数据飞轮，为触觉增强的模仿学习与策略鲁棒性提升提供了关键支持。相关研究已证实，该框架能将双手操作任务的平均成功率从34%提升至75%，并在物体泛化与外部干扰下展现出卓越的稳健性，推动了触觉融合感知在真实世界机器人操作中的应用边界。

相关研究论文

• TAMEn: Tactile-Aware Manipulation Engine for Closed-Loop Data Collection in Contact-Rich Tasks

  复旦大学; 上海创新研究院; 香港大学·OpenDriveLab; 上海交通大学; 华东理工大学 · 2026年