UniVTAC

UniVTAC是一个基于NVIDIA Isaac Lab和TacEx的触觉感知模拟基准，用于机器人操作。它提供了一个统一的框架，用于收集专家演示、训练视觉触觉策略，并在多样化的接触丰富操作任务中评估它们，所有这些都带有来自模拟GelSight Mini、ViTai GF225或XenseWS传感器的高保真触觉反馈。

UniVTAC is a tactile perception simulation benchmark for robotic manipulation, built on NVIDIA Isaac Lab and TacEx. It provides a unified framework for collecting expert demonstrations, training visuo-tactile policies, and evaluating them across diverse contact-rich manipulation tasks, all equipped with high-fidelity tactile feedback from simulated GelSight Mini, ViTai GF225 or XenseWS sensors.

原始信息汇总

UniVTAC数据集概述

数据集基本信息

• 数据集名称：UniVTAC
• 核心描述：一个基于NVIDIA Isaac Lab和TacEx（UIPC-based tactile simulation）构建的、用于机器人操作的触觉感知模拟基准。它提供了一个统一的框架，用于收集专家演示、训练视觉触觉策略，并在各种接触丰富的操作任务中评估它们，所有任务都包含来自模拟的GelSight Mini、ViTai GF225或XenseWS传感器的高保真触觉反馈。
• 相关论文：UniVTAC: A Unified Simulation Platform for Visuo-Tactile Manipulation Data Generation, Learning, and Benchmarking
• 论文链接：https://arxiv.org/abs/2602.10093
• 数据集官网：https://univtac.github.io/

数据集获取

• HuggingFace数据集地址：https://huggingface.co/datasets/byml/UniVTAC
• Modelscope数据集地址：https://modelscope.cn/datasets/byml2024/UniVTAC
• 数据内容：包含每个任务100个episode的数据集。
• 下载方式：可从上述链接下载，或通过运行项目中的 data/download.sh 脚本下载。

任务集合

UniVTAC目前包含以下操作任务，所有任务均具备触觉感知功能：

任务名称	模块名称	描述
Collect	collect	收集用于预训练的接触丰富的触觉数据
Lift Bottle	lift_bottle	在靠近墙壁的表面上抓取并抬起一个瓶子
Lift Can	lift_can	抓取并抬起一个圆柱形罐子
Insert HDMI	insert_HDMI	将HDMI连接器插入端口
Insert Hole	insert_hole	精确的孔轴插入任务
Insert Tube	insert_tube	将管子插入夹具
Pull Out Key	pull_out_key	从锁中取出钥匙
Put Bottle in Shelf	put_bottle_in_shelf	将瓶子放到架子上
Grasp & Classify	grasp_classify	抓取物体并通过触觉反馈对其进行分类

基准策略

UniVTAC在 policy/ 目录下实现了多个基线策略：

• ACT：带有/不带有触觉输入的动作分块变换器。
• Abation：用于模态比较的ACT消融变体。
• TactileACT：在ViTAL中使用CLIP预训练的触觉-视觉编码器的ACT。

评估与结果

• 统一评估入口：项目根目录下的 eval_policy.sh 脚本。
• 并行评估脚本：项目根目录下的 parallel_eval.sh 脚本。
• 结果保存：评估结果（包括视频和成功率日志）将保存在项目根目录下的 eval_result/ 目录中。

当前限制

• 数据收集和评估目前仅支持GelSight Mini传感器。对ViTai GF225和XenseWS的支持将在未来添加。

引用

如果使用本数据集，请考虑引用相关论文：

@article{chen2026univtac, title={UniVTAC: A Unified Simulation Platform for Visuo-Tactile Manipulation Data Generation, Learning, and Benchmarking}, author={Chen, Baijun and Wan, Weijie and Chen, Tianxing and Guo, Xianda and Xu, Congsheng and Qi, Yuanyang and Zhang, Haojie and Wu, Longyan and Xu, Tianling and Li, Zixuan and others}, journal={arXiv preprint arXiv:2602.10093}, year={2026} }

许可协议

• 许可证：MIT许可证。

搜集汇总

数据集介绍

构建方式

在机器人触觉感知研究领域，UniVTAC数据集构建于NVIDIA Isaac Lab与TacEx触觉仿真技术之上，形成了一个统一的仿真平台。该平台通过集成高保真度的触觉传感器模拟，包括GelSight Mini、ViTai GF225与XenseWS，实现了对接触密集型操作任务的数据生成。数据收集过程依托自动化流水线，针对九项具体操作任务，如瓶罐抓取、HDMI插入及钥匙拔出等，每项任务均录制了100条专家演示轨迹，确保了数据在多样性与真实性上的平衡。

特点

UniVTAC的突出特点在于其提供了触觉感知与视觉信息融合的统一仿真环境，支持从数据生成到策略训练与评估的全流程。数据集涵盖多种复杂操作场景，每项任务均配备了高保真触觉反馈，模拟了真实世界中的接触力学特性。平台内置了多种基准策略模型，如ACT及其触觉增强变体，便于研究者进行模态对比与性能评测。这种设计使得UniVTAC不仅是一个数据资源，更是一个完整的触觉感知研究基准测试套件。

使用方法

研究者可通过HuggingFace或Modelscope平台直接下载数据集，或运行项目内的下载脚本获取数据。对于策略训练与评估，平台提供了模块化的政策实现，用户可基于ACT、TactileACT等模型进行训练，并通过统一的评估入口执行性能测试。评估命令支持单次或并行多种子运行，结果将自动保存至指定目录，包含成功率日志与过程视频。用户还可参照部署指南，集成自定义策略，充分利用该平台进行触觉感知算法的开发与验证。

背景与挑战

背景概述

在机器人操作领域，视觉与触觉感知的融合对于提升复杂接触式任务的执行能力至关重要。UniVTAC数据集由Baijun Chen等研究人员于2026年提出，依托NVIDIA Isaac Lab与TacEx触觉仿真技术构建，旨在为触觉感知的机器人操作提供一个统一的仿真平台。该数据集专注于解决接触式操作任务中的数据生成、策略学习与性能评估问题，通过集成高保真的GelSight Mini、ViTai GF225及XenseWS触觉传感器仿真，推动了触觉增强型机器人策略的研究进展，为相关领域的算法开发与基准测试奠定了坚实基础。

当前挑战

UniVTAC数据集面临的挑战主要集中于触觉感知在机器人操作中的实际应用难题。在领域问题层面，触觉数据的多模态融合与高维表征学习存在显著困难，如何有效整合视觉与触觉信息以提升策略在接触式任务中的鲁棒性与精度，仍是一个核心研究瓶颈。在构建过程中，仿真环境的高保真触觉反馈生成、多样化任务场景的物理建模以及大规模专家示范数据的自动化采集，均对计算资源与算法设计提出了严峻考验。此外，当前平台仅支持GelSight Mini传感器的数据收集与评估，扩展至其他触觉传感器的兼容性仍需进一步技术突破。

常用场景

经典使用场景

在机器人触觉感知与灵巧操作领域，UniVTAC数据集为研究者提供了一个统一的仿真平台，用于生成、学习和评估视觉-触觉融合的操控数据。其经典使用场景集中于接触密集型的精细操作任务，如瓶罐抓取、HDMI接口插入、钥匙拔出等，这些任务要求机器人不仅依赖视觉信息，还需整合高保真触觉反馈以感知接触力、纹理和形状变化。通过模拟GelSight Mini等触觉传感器，该数据集支持从专家示范收集到策略训练的全流程，为开发多模态感知模型奠定了坚实基础。

实际应用

在实际应用层面，UniVTAC数据集可服务于工业自动化、医疗辅助机器人及家庭服务机器人等场景。例如，在装配线上，机器人需执行精密插入或零件抓取操作，触觉反馈能帮助其适应微小偏差和柔性物体；在康复机器人中，触觉感知有助于安全的人机交互。该数据集通过仿真训练出的策略，可迁移至真实机器人系统，提升其在复杂环境中的操作成功率与适应性，为触觉技术在现实世界的部署提供了可行性验证与优化路径。

衍生相关工作

围绕UniVTAC数据集，已衍生出多项经典研究工作，主要集中在多模态策略架构与触觉表征学习方面。例如，基于Action Chunking Transformers（ACT）的基线策略，通过集成触觉输入或CLIP预训练的触觉-视觉编码器（如TactileACT），探索了触觉信息对操作性能的提升效果。这些工作不仅验证了数据集在策略评估中的实用性，还推动了触觉模拟与视觉融合的新方法发展，为后续研究如触觉数据增强、跨传感器泛化以及仿真到真实的迁移学习提供了重要参考。