OpenViTac

OpenViTac 是由复旦大学、上海市多模态具身智能重点实验室、合肥工业大学、新加坡国立大学、Neote AI 与中国联通等联合构建的统一视觉-触觉机器人操作基准，旨在贯通仿真与真实环境进行一致评测。该基准围绕物理属性感知、脆弱物体感知、富接触操作和精细操作四维能力，涵盖11项仿真任务与8项配对真实任务，支持2种夹爪配置和3类触觉传感器。其构建采用智能体辅助的真实到仿真流水线，从多视图重建仿真资产，并在任务级对齐物体、目标与机器人初始状态，同时可配置背景和场景外观以扩展数据分布。它主要服务于 VLA、WAM 与 VTLA 策略的跨域评估，并支撑触觉表征、融合策略及仿真-真实协同训练研究，以解决触觉机器人操作缺乏统一基准的问题。OpenViTac is a unified vision-tactile robotic manipulation benchmark jointly developed by Fudan University, Shanghai Key Laboratory of Multimodal Embodied Intelligence, Hefei University of Technology, National University of Singapore, Neote AI, China United Network Communications and other institutions. It is designed to enable consistent evaluation of robotic manipulation across both simulation and real-world scenarios. Centered on four core capabilities including physical property perception, fragile object perception, rich-contact manipulation and dexterous manipulation, the benchmark encompasses 11 simulation tasks and 8 paired real-world tasks, and supports two types of gripper configurations and three categories of tactile sensors. The benchmark is built upon an agent-assisted real-to-simulation pipeline, which reconstructs simulation assets from multi-view images, aligns objects, targets and robot initial states at the task level, and allows configurable backgrounds and scene appearances to expand the data distribution. It primarily serves for cross-domain evaluation of VLA, WAM and VTLA policies, and supports research on tactile representation, fusion strategies and simulation-real world collaborative training, aiming to address the shortage of unified benchmarks for tactile robotic manipulation.

原始信息汇总

OpenViTac 数据集概述

基本信息

• 名称：OpenViTac
• 全称：OpenViTac: Learning and Benchmarking Visuo-Tactile Policies in a Unified Sim-and-Real Framework
• 类型：面向机器人的视觉-触觉统一基准（sim-and-real 统一框架）
• 核心目标：为同时具备视觉与触觉的机器人提供统一基准，评估视觉-语言-动作（VLA）、世界-动作（world-action）、视觉-触觉-语言-动作（VTLA）等策略
• 相关资源：Paper、GitHub、Hugging Face（Coming soon）、ModelScope（Coming soon）

作者与机构

• 作者：Yifan Wu、Qin Li、Nan Min、Guojin Zhong、Haoyu Zhao、Zhiyuan Li、Houze Xu、Shengqi Xu、Xingyao Lin、Zijie Diao、Zhaoxiang Liu、Shiguo Lian、Shunlin Lu、Shihao Zhao、Ziyi Ye、Zuxuan Wu、Yu-Gang Jiang
• 机构：
  • Fudan University
  • Shanghai Innovation Institute
  • Hefei University of Technology
  • Neote AI
  • China Unicom
• 标注：* 表示同等贡献，† 表示项目负责人

数据集规模与构成

• 仿真任务：11
• 配对真实世界任务：8
• 触觉能力维度：4
• 触觉传感器类型：3

任务分类

任务按能力分为四类，共计 11 个：

类别	数量	任务
属性感知（Property perception）	5	重量分类（WC）、硬度分类（HC）、粗糙度分类（RC）、粗糙度引导重抓取（RR）、空罐选择（ECS）
脆弱性感知（Fragility-aware）	1	抓取芯片（GC）
接触丰富（Contact-rich）	2	齿轮装配（GA）、拉抽屉（PD）
精密操作（Precision）	3	插入 USB（In-USB）、插入积木 v1（In-B v1）、插入积木 v2（In-B v2）

触觉能力维度

覆盖四个视觉难以获取的物理属性：重量、纹理、脆弱性、接触。

仿真与真实世界对齐

• 对应任务：8 个共享任务在仿真与真实硬件上采用匹配的操作目标，支持对比。
• 多样化环境：背景、工作空间外观与周围环境变化，而底层任务配置保持一致，从而扩大训练分布。
• 资产与任务构建：通过智能体辅助的资产重建与任务构建，在跨域间保留任务相关结构。

OpenVTLA 方法

• 定义：一种将预训练 VLA 模型适配触觉的实用方法，并研究仿真经验如何提升真实世界操作。
• 架构要点：
  • 时序触觉编码器：使用 AnyTouch2 将触觉历史编码为紧凑 token。
  • 早期 token 级融合：触觉 token 投影到 VLM 隐藏维度，并前置到 π 0.5 的视觉序列。
  • 保留原始视觉-语言与动作通路，无需额外融合模块或触觉专用专家。
• 研究维度：
  • 触觉表示：4 种
  • 融合策略：5 种

评测结果

总体成功率

• 仿真环境：68.7%
• 真实硬件：54.6%
• 仿真-真实 Pearson 相关系数：0.913

仿真策略成功率（%，按平均成功率排序，展示 5/11 个策略）

策略	WC	HC	RC	RR	ECS	GC	GA	PD	In-USB	In-B v1	In-B v2	平均
OpenVTLA（VTLA，本文）	89	99	100	90	73	69	91	99	27	11	8	68.7
FTP-1（VTLA）	61	100	100	78	50	60	83	94	27	12	8.3	61.2
InternVLA-A1.5（VLA）	53	76	65	77	47	53	79	98	3	6	9.3	51.5
π₀.₅（VLA）	53	60	64	52	48	39	87	99	14	9	9.3	48.6
Lingbot-VLA-2（VLA）	52	58	58	53	52	41	78	92	8	5	2.7	45.4

• 平均值为任务间未加权均值。
• 所有策略均采用单任务训练。

仿真数据对真实数据的增益

在每任务 100 条真实演示的基础上，增加 500 条仿真演示，可使 OpenVTLA 在 USB 插入与齿轮装配上的平均成功率提升 15 个百分点。

训练数据	Insert USB	Gear assembly
100 real	20	50
100 real + 500 sim	40	60

引用信息

• BibTeX Key：wu2026openvitac
• 年份：2026
• 状态：预印引用，出版信息将随论文发布补充。

缩略语对照

缩略语	全称
WC	Weight classification（重量分类）
HC	Hardness classification（硬度分类）
RC	Roughness classification（粗糙度分类）
RR	Roughness-guided regrasp（粗糙度引导重抓取）
ECS	Empty-can selection（空罐选择）
GC	Grasp chip（抓取芯片）
GA	Gear assembly（齿轮装配）
PD	Pull drawer（拉抽屉）
In-USB	Insert USB（插入 USB）
In-B v1	Insert block v1（插入积木 v1）
In-B v2	Insert block v2（插入积木 v2）

搜集汇总

数据集介绍

构建方式

OpenViTac的构建根植于视触觉机器人学习对标准化评测的迫切需求，采用真实到仿真的智能体辅助流水线，在资产层级通过多视角图像重建真实物体的仿真对应物，并将复杂对象分解为功能部件，在任务层级依据真实参考中的物体与目标配置及机器人初始状态实例化可执行子动作以采集轨迹。仿真环境依托NVIDIA Isaac Sim与Isaac Lab搭建，触觉观测由TacEx渲染，并独立构建视觉真实资产以共享几何关联。数据集涵盖GelSight、Xense与Neote三种触觉传感配置，仿真端每配置包含1300条轨迹、约91.8万帧，真实端每配置包含2400条演示、约210万帧。

特点

该数据集的核心特征在于以触觉为中心的四维能力分类体系，涵盖物理属性感知、易碎感知操作、富接触操作与精密操作，并首次在统一框架下提供任务对应的仿真与真实配对设置，支持Franka Hand与Robotiq两种夹爪及三种触觉传感器。其真实到仿真的对齐策略在资产层与任务层同时保持机器人本体、任务目标、语言指令、物体类别与成功判据的一致性，同时允许通过背景、工作空间与周围情境的配置化变化扩展场景多样性。标准化状态与动作接口进一步支持末端执行器空间与关节空间表示，且兼容多种旋转参数化方式，为跨策略族的公平比较奠定基础。

使用方法

使用者可在仿真与真实环境中对VLA、WAM与VTLA策略进行单任务训练与评估，每个基准任务实例化独立策略，遵循预定义且平衡的任务条件，以任务特定二元成功准则衡量性能，并对多条件任务按任务层级聚合成功率。基于配对设置，可开展仿真与真实联合训练：固定真实演示预算，引入多样化场景下采集的仿真演示，以仿真采样概率加权行为克隆损失进行混合域训练，无需配对跨域轨迹或显式特征对齐损失。此外，该方法支持在光照扰动等条件下检验策略鲁棒性，并利用仿真与真实评估间的强相关性将仿真作为比较性策略评测的有效代理。

背景与挑战

背景概述

触觉反馈为具身智能体提供了超越视觉观测的物理信息，使机器人能够在接触密集的场景中实现更可靠的交互。尽管视觉-触觉-语言-动作（VTLA）策略发展迅速，但面向仿真与真实世界的触觉操作统一评测基准长期缺位。在此背景下，复旦大学与上海多模态具身智能重点实验室等机构的研究人员于2026年提出OpenViTac，将接触密集操作归纳为物理属性感知、易损感知、接触密集操作与精密操作四个能力维度，并提供仿真与真实世界配对的任务设置，系统评估VLA、WAM与VTLA策略。该基准填补了触觉操作跨域评测的空白，为触觉表征与集成策略的对照研究以及仿真-真实协同训练提供了统一平台，对具身智能领域的可复现研究具有重要推动作用。

当前挑战

OpenViTac所面对的领域问题在于，现有操作基准多聚焦视觉策略，缺乏触觉感知支持，而既有视觉-触觉基准在触觉相关能力覆盖、硬件配置多样性与仿真-真实对应性方面存在明显不足，难以系统比较不同触觉表征与集成策略的贡献。其构建过程亦面临多重挑战：触觉仿真受限于渲染与传感器建模精度，仿真与真实触觉观测之间存在域间差异；多类型触觉传感器与夹爪配置的统一接口设计需要兼顾异构硬件；真实到仿真的任务级对齐要求保持机器人本体、任务目标、语言指令与成功判据的语义一致，同时匹配相机视角、坐标系与控制频率；此外，精密插入与易损抓取等任务对细粒度接触控制提出极高要求，触觉信息本身仍不足以保障可靠执行。

常用场景

经典使用场景

在具身智能与机器人操作研究领域，OpenViTac的经典使用场景体现为对触觉增强策略的跨域标准化评测。研究者依托其涵盖物理属性感知、易碎感知、富接触操作与精密操作四个维度的任务体系，在仿真与真实环境中对VLA、WAM与VTLA等模型家族进行统一条件下的横向比较。通过配对的仿真—真实任务设置与多种触觉传感器配置，该基准能够系统地考察策略在接触密集型操作中的表现，进而揭示触觉表征与融合策略对预训练视觉—语言—动作模型适应性的影响。

实际应用

在实际应用层面，OpenViTac为接触密集型机器人操作任务提供了可迁移的评测与训练基础设施。其覆盖的抓取易碎芯片、齿轮装配、抽屉拉动、USB插入等场景，直接对应工业装配、精密电子制造与家庭服务等真实作业需求。基准所提供的标准化机器人状态与动作接口、多传感器支持以及仿真—真实配对数据，使研究人员与工程人员能够以较低成本评估策略在真实环境中的部署潜力，并借助仿真数据增强在有限真实样本下提升操作可靠性。

衍生相关工作

OpenViTac的发布催生并支撑了一系列围绕触觉增强策略的经典工作。其中，OpenVTLA作为基于AnyTouch2触觉表征与词元级拼接融合策略的触觉增强框架，在仿真与真实评测中均取得领先性能，成为该基准上的代表性方法。围绕该基准展开的触觉表征对比研究、触觉集成策略分析以及仿真—真实协同训练实验，进一步衍生出对触觉预训练与时间动态信息重要性的系统探讨，为后续VTLA模型设计、触觉传感器建模与跨域策略学习提供了重要参考与实证依据。