FTP-X-Embodiment

FTP-1-Dataset 是一个用于 FTP-1 预训练的异构触觉操作数据集合。该数据集当前版本包含 18 个独立的数据集归档文件，具体包括：FreeTacMan、MotionTrans、RDP、RDP_Bimanual、RH20TCfg5Franka、RH20TCfg6ATIAxia、RH20TCfg7Tactile、Unit、Unit_Bimanual、VLA_touch、ViTaMIn、VisuoTactile_D-WHEEL、VisuoTactile_QINGLOONG、exUMI 和 sharpa。每个数据集目录下存放着单个的 .tar 归档文件或分卷压缩文件（格式为 .tar.part-*），对于分卷文件，需要先将其合并再进行解压。该数据集本质上是一个归档文件集合，专门用于为 FTP-1 模型预训练准备和提取数据。FTP-1-Dataset is a heterogeneous tactile manipulation dataset collection for FTP-1 pre-training. The current version of this dataset contains 18 independent dataset archive files, specifically including: FreeTacMan, MotionTrans, RDP, RDP_Bimanual, RH20TCfg5Franka, RH20TCfg6ATIAxia, RH20TCfg7Tactile, Unit, Unit_Bimanual, VLA_touch, ViTaMIn, VisuoTactile_D-WHEEL, VisuoTactile_QINGLOONG, exUMI, and sharpa. Each dataset directory contains either a single .tar archive file or split compressed files (in the format .tar.part-*), and for split files, they need to be merged before extraction. This dataset is essentially an archive collection specifically prepared for data preparation and extraction for FTP-1 model pre-training.

原始信息汇总

数据集概述

数据集名称：FTP-1-Dataset

描述：包含用于FTP-1预训练的异构触觉操作数据。

数据组成：该数据集目前包含18个数据集存档，具体如下：

• FreeTacMan
• MotionTrans
• RDP
• RDP_Bimanual
• RH20TCfg5Franka
• RH20TCfg6ATIAxia
• RH20TCfg7Tactile
• Unit
• Unit_Bimanual
• VLA_touch
• ViTaMIn
• VisuoTactile_D-WHEEL
• VisuoTactile_QINGLOONG
• exUMI
• sharpa

文件结构：每个数据集目录包含一个单独的 <dataset>.tar 文件，或拆分为多个部分（命名为 <dataset>.tar.part-*）。对于拆分后的存档，需要先合并各部分再进行解压。

用途：用于FTP-1预训练的数据准备和提取。

相关链接

• 项目主页：https://ftp1-policy.github.io/
• 开源代码仓库：https://github.com/michaelyuancb/ftp1-policy

搜集汇总

数据集介绍

构建方式

FTP-X-Embodiment数据集汇聚了18个异构触觉操作数据档案，涵盖FreeTacMan、MotionTrans、RDP、RDP_Bimanual等多元子数据集。每个数据档案以独立的.tar压缩包形式存储，部分大型档案被分割为以.tar.part-*命名的分片文件，用户需在提取前合并这些分片。该数据集专为FTP-1预训练阶段的数据组织与提取而设计，旨在为触觉操作智能体的基础模型训练提供丰富、异构的触觉数据源。

特点

该数据集的核心特点在于其异构性和规模：它整合了来自不同机器人平台、操作场景和触觉传感器类型的多样化操作数据，从单臂操作到双臂协调，从精细触觉感知到视觉-触觉融合，覆盖了广泛的触觉操作任务。这种异构性极大地增强了预训练数据的多样性与覆盖度，有助于提升基础模型在未见任务上的泛化能力。数据集以压缩档案形式分发，便于高效存储与传输，同时提供了清晰的合并与提取指南，确保用户能顺利使用。

使用方法

使用FTP-X-Embodiment数据集时，用户需先从项目官网或开源仓库获取数据档案。对于单一.tar档案可直接解压；对于分片档案，需先使用cat或其他工具合并所有.part-*文件为完整.tar文件，再行提取。提取后的数据可供FTP-1预训练框架直接加载，作为触觉操作策略基础模型训练的输入。具体的数据加载与训练流程可参考配套的开源仓库代码，该仓库提供了完整的预训练与微调管线示例。

背景与挑战

背景概述

随着机器人操作任务对灵巧性与适应性的要求日益提升，触觉感知在多模态学习中的关键作用愈发凸显。FTP-X-Embodiment数据集由FTP-1项目团队于2024年左右发布，汇集了来自全球多个研究机构的异构触觉操作数据，包括FreeTacMan、RH20T、VLA_touch等18个子数据集。该数据集旨在为触觉基础模型FTP-1的大规模预训练提供统一的数据支撑，核心研究问题在于如何通过异构触觉数据的融合提升机器人操作策略的泛化能力。其对相关领域的影响力体现在为触觉-视觉-动作联合表征学习开辟了新范式，有望推动机器人灵巧操作技术的实质性突破。

当前挑战

该数据集所解决的领域挑战在于触觉数据的异构性导致的多模态对齐困难，不同传感器类型、采样频率与数据格式使得统一的特征提取与预训练极具挑战性。构建过程中面临的关键难题包括：数据来源的广泛分布导致版本管理与格式规范化复杂；各子数据集在任务场景、操作对象和触觉表征上的巨大差异增加了数据融合的难度；以及如何设计高效的数据索引与压缩策略以满足大规模预训练对存储与计算效率的要求。

常用场景

经典使用场景

FTP-X-Embodiment数据集是面向机器人触觉操作领域的大规模异构数据集，其经典使用场景聚焦于多模态触觉感知与灵巧操作行为的联合表征学习。该数据集整合了来自FreeTacMan、RH20T、VLA_touch等18个子数据集的丰富触觉操作数据，覆盖了从单臂抓取到双臂协作、从刚性物体到柔性材质的多样化操作情境。研究者可借助该数据集开展触觉与视觉、力觉等多模态信息的深度融合训练，构建能够泛化至未知物体与环境中的触觉操作基础模型。数据集的设计天然适配于预训练-微调范式，尤其适合用于开发具备跨任务、跨平台迁移能力的通用触觉操作策略，为机器人学习从模拟环境向真实世界的零样本迁移提供了关键数据支撑。

衍生相关工作

FTP-X-Embodiment的发布催生了一系列奠基性学术工作，其中最具代表性的是基于其数据训练的FTP-1基础模型，该模型首次验证了大规模异构触觉操作数据的预训练有效性，并建立了触觉操作领域的基准评估体系。后续研究者依托该数据集开发了触觉感知与视觉语言的跨模态对齐方法，例如将ViTaMIn中的触觉序列与语言指令进行联合建模，实现了语言引导的灵巧操作。此外，exUMI子数据集推动了触觉操作中隐式运动表示的学习，sharpa数据集则聚焦于精密操作中的触觉表征解耦。这些衍生工作共同构建了触觉操作研究的新生态，促进了触觉传感器标定、数据增强算法以及少样本学习策略等方向的技术突破，持续拓展着数据集的应用边界。

数据集最近研究

最新研究方向

FTP-X-Embodiment数据集作为FTP-1预训练策略的核心数据支撑，汇聚了来自18个异构触觉操作数据源的丰富信息，涵盖FreeTacMan、RH20T、VisuoTactile等多个前沿研究子集，深度融合视觉与触觉感知模态，为机器人灵巧操作与多模态学习开辟了全新路径。该数据集紧密关联具身智能领域的热点事件，如跨机器人平台（Franka、ATIAxia及QINGLOONG等）的触觉迁移与统一策略预训练，显著推动了机器人从单一任务向通用操作能力的范式跃迁。其整合的双臂与单臂操作数据，不仅夯实了大规模触觉预训练的基础设施，更在提升复杂环境下的自适应性与执行精度方面具有里程碑意义，为下一代具身智能系统的稳健部署提供了关键驱动力。