FreeTacMan

FreeTacman是一个支持接触丰富操作的大规模、高精度视觉触觉操纵数据集，包含超过300万个视觉触觉图像对和超过10,000个轨迹，跨越50个任务类别。数据集包括与每个演示同步的手腕安装相机和视觉触觉相机的视频记录，以及工具中心点姿态和夹爪距离的详细跟踪数据。

原始信息汇总

FreeTacman 数据集概述

数据集基本信息

• 数据集名称：FreeTacman
• 许可证：MIT
• 任务类别：机器人技术
• 标签：触觉

数据集简介

FreeTacman 是一个用于接触丰富操作的无机器人视觉-触觉数据收集系统。该数据集支持论文《FreeTacman: Robot-free Visuo-Tactile Data Collection System for Contact-rich Manipulation》。

数据集规模

• 包含超过3000k个视觉-触觉图像对
• 涵盖50个任务的超过10k条轨迹
• 大规模、高精度的视觉-触觉操作数据集

数据集结构

数据集按50个任务类别组织，每个类别包含：

• 视频文件：每个演示中腕戴式相机和视觉-触觉相机的同步视频录制
• 轨迹文件：工具中心点姿态和夹爪距离的详细跟踪数据

数据格式

视频文件

• 格式：MP4
• 视角：每个演示包含腕戴式相机和视觉-触觉相机视角

轨迹文件

轨迹文件包含以下数据列：

时间戳

• timestamp - Unix时间戳

工具中心点数据

• TCP_pos_x, TCP_pos_y, TCP_pos_z - TCP位置
• TCP_euler_x, TCP_euler_y, TCP_euler_z - TCP方向（欧拉角）
• quat_w, quat_x, quat_y, quat_z - TCP方向（四元数表示）

夹爪数据

• gripper_distance - 夹爪开口距离

引用信息

如需在研究中引用此数据集，请使用： bibtex @article{wu2025freetacman, title={Freetacman: Robot-free visuo-tactile data collection system for contact-rich manipulation}, author={Wu, Longyan and Yu, Checheng and Ren, Jieji and Chen, Li and Jiang, Yufei and Huang, Ran and Gu, Guoying and Li, Hongyang}, journal={arXiv preprint arXiv:2506.01941}, year={2025} }

许可证

本数据集根据MIT许可证发布。

联系方式

有关数据集的问题，请联系：Longyan Wu ([e-mail])

搜集汇总

数据集介绍

构建方式

在机器人触觉感知研究领域，FreeTacMan数据集通过创新的无机器人数据采集系统构建而成。该系统采用同步记录手腕摄像头与视觉触觉相机的双视角视频流，结合工具中心点位姿与夹爪距离的轨迹追踪技术，实现了对50类接触密集型操作任务的精细采集。整个构建过程涵盖超过3000组视觉触觉图像对与万余条操作轨迹，通过标准化时间戳与多模态数据对齐，确保了数据采集的精确性与系统性。

特点

该数据集最显著的特征在于其大规模高精度的多模态数据结构。其包含的视觉触觉图像对突破三百万组，覆盖五十种复杂操作场景，每个样本均配备完整的工具位姿参数与夹爪运动轨迹。数据以MP4视频文件与结构化轨迹文件并存的形式组织，既保留了操作过程的动态视觉信息，又通过欧拉角与四元数双重表征提供了精确的空间姿态数据，为接触动力学研究提供了丰富的多维度信息支撑。

使用方法

研究人员可通过解析MP4格式的同步视频文件获取操作过程的视觉序列，同时利用轨迹文件中的时间戳对齐工具中心点位置与夹爪距离数据。数据集支持基于任务类别的模块化调用，用户可根据具体研究需求选择特定操作场景的子集。通过结合视觉流与轨迹参数，该数据集能够有效服务于模仿学习、触觉感知建模等研究方向，为接触密集型操作算法的开发提供标准化测试基准。

背景与挑战

背景概述

触觉感知作为机器人操作领域的关键技术，其发展长期受制于高成本数据采集系统的限制。FreeTacMan数据集由OpenDriveLab团队于2025年推出，通过无机器人介入的创新采集范式，构建了包含3000k视觉-触觉图像对与逾万条轨迹的大规模数据集。该研究聚焦于接触密集型操作任务中的多模态感知问题，通过同步记录腕部摄像机与触觉视觉传感器的数据流，为精细操作策略的生成提供了重要支撑，显著推动了具身智能领域的数据驱动研究进程。

当前挑战

在触觉增强操作领域，传统方法面临触觉信号与视觉信息时空对齐的复杂性，以及接触物理特性建模的固有难题。FreeTacMan在构建过程中需攻克多传感器时序同步的技术瓶颈，确保毫秒级精度的视觉-触觉数据配对。同时，为覆盖50类操作任务的多样性，需设计标准化采集流程以维持数据一致性，并通过无机器人介入的采集方案规避机械系统带来的运动约束，这对传感器布局与数据标注流程提出了更高要求。

常用场景

经典使用场景

在机器人触觉感知研究领域，FreeTacMan数据集为接触密集型操作任务提供了关键支撑。该数据集通过集成视觉与触觉模态数据，典型应用于机器人抓取、装配及精细操作等场景的算法开发与验证。其大规模同步采集的视觉-触觉图像对与轨迹数据，为多模态感知模型训练提供了丰富样本，尤其在需要精确力反馈的复杂操作环境中具有不可替代的价值。

衍生相关工作

该数据集已催生多类创新性研究，尤其在跨模态生成与触觉信号预测方向成果显著。基于其构建的触觉图像合成模型、视觉-触觉对齐网络等衍生工作，持续推动着触觉感知社区的发展。这些研究不仅拓展了多模态学习的理论边界，更为触觉传感器设计、仿真环境构建等关联技术提供了重要参考依据。

数据集最近研究

最新研究方向

在触觉感知与机器人操作领域，FreeTacMan数据集正推动无机器人视觉-触觉数据采集系统的前沿探索。其包含超过3000k视觉-触觉图像对与50类任务的轨迹数据，为接触密集型操作任务提供了高精度多模态基准。当前研究聚焦于跨模态表征学习与触觉反馈的仿真迁移，通过解耦机械臂约束实现低成本大规模数据生成，显著提升了灵巧操作策略在真实场景的泛化能力。该体系通过开源硬件设计促进触觉感知研究的可复现性，为具身智能与仿人操作系统的演进注入新动能。