taf-dataset

TaF-Dataset是一个大规模、同步的多模态触觉-力数据集，旨在用于学习力感知的触觉表征和研究接触密集的机器人操作。数据采集时，使用ATI六轴力/力矩传感器记录交互力/力矩（Fx, Fy, Fz, Tx, Ty, Tz），压电传感阵列提供识别接触区域的空间压力分布图，视觉触觉传感器记录相应的触觉图像。这些信号在时间上同步，使得模型能够将局部触觉形变和接触位置与物理交互力关联起来。数据集规模庞大，包含10,053,265个同步帧、3,592个episode和408个物体/传感器序列。数据涵盖六种不同的触觉传感器配置：带标记的GelSight Mini、无标记的GelSight Mini、无标记的自定义设计传感器、带6x6标记的自定义设计传感器、带7x7标记的自定义设计传感器以及带8x8标记的自定义设计传感器，分别对应124、84、84、74、10和32个记录序列。每个同步数据帧包含以下模态：分辨率为240x320x3的RGB触觉图像（observation.image）、表示接触区域和空间压力分布的12x12压电压力矩阵（observation.pressure_matrix）、按Fx, Fy, Fz, Tx, Ty, Tz顺序排列的6维ATI力/力矩测量值（observation.force_torque），以及时间戳、帧索引和episode索引。其中法向力通道Fz最能反映主接触方向的负载，完整的六维力/力矩数据则用于捕捉切向力和旋转交互动力学。数据集遵循LeRobot v3布局进行组织，主要分为`gs_mini/`和`custom_designed/`两大目录，分别包含208和200个记录序列。每个序列目录使用统一的内部结构，包含数据块、视频和元数据文件。序列目录的命名遵循特定模式，并附有详细的ID范围说明。该数据集适用于机器人操作、特征提取等任务，特别是需要结合触觉感知与力反馈的研究与应用。The TaF-Dataset is a large-scale, synchronized multimodal tactile-force dataset designed for learning force-aware tactile representations and studying contact-intensive robotic manipulation. It was proposed in the paper "TaF-VLA: Tactile-Force Alignment in Vision-Language-Action Models for Force-aware Manipulation." During data collection, an ATI six-axis force/torque sensor records interaction forces/torques (Fx, Fy, Fz, Tx, Ty, Tz), a piezoelectric sensing array provides spatial pressure maps identifying contact areas, and a vision-based tactile sensor records corresponding tactile images. These signals are synchronized in time, enabling models to associate local tactile deformations and contact locations with physical interaction forces. The dataset is extensive, containing 10,053,265 synchronized frames, 3,592 episodes, and 408 object/sensor sequences. It covers six different tactile sensor configurations: marked GelSight Mini, unmarked GelSight Mini, unmarked custom-designed sensor, custom-designed sensor with 6x6 markers, custom-designed sensor with 7x7 markers, and custom-designed sensor with 8x8 markers, corresponding to 124, 84, 84, 74, 10, and 32 recorded sequences, respectively. Each synchronized data frame includes the following modalities: an RGB tactile image with a resolution of 240x320x3 (observation.image), a 12x12 piezoelectric pressure matrix representing contact areas and spatial pressure distribution (observation.pressure_matrix), a 6-dimensional ATI force/torque measurement in the order Fx, Fy, Fz, Tx, Ty, Tz (observation.force_torque), as well as timestamps, frame indices, and episode indices. Among these, the normal force channel Fz best reflects the load in the main contact direction, while the full six-dimensional force/torque data captures tangential forces and rotational interaction dynamics. The dataset is organized following the LeRobot v3 layout, primarily divided into two directories: `gs_mini/` and `custom_designed/`, containing 208 and 200 recorded sequences, respectively. Each sequence directory uses a unified internal structure, including data chunks, videos, and metadata files. Sequence directory names follow a specific pattern, accompanied by detailed ID range descriptions. This dataset is suitable for tasks such as robotic manipulation and feature extraction, particularly in research and applications requiring the integration of tactile perception and force feedback.

原始信息汇总

TaF-Dataset 数据集详情

基本信息

• 许可证: MIT
• 标签: 机器人学、触觉感知、力/力矩、多模态
• 任务类型: 机器人学、特征提取、其他
• 来源论文: TaF-VLA: Tactile-Force Alignment in Vision-Language-Action Models for Force-aware Manipulation

数据集概述

TaF-Dataset 是一个大规模、同步的触觉-力数据集，专为力感知触觉表示学习和接触丰富的机器人操作研究而设计。数据采集过程中使用了 ATI 六轴力/力矩传感器记录交互力矩，压电传感阵列提供空间压力分布图，视觉触觉传感器记录相应触觉图像，所有信号在时间上同步。

规模统计

• 同步帧数: 10,053,265 帧
• 片段数: 3,592 个
• 物体/传感器序列数: 408 个

触觉传感器配置

数据集包含六种触觉传感器配置：

配置	父目录	序列数
GelSight Mini（带标记）	taf_dataset/gs_mini/	124
GelSight Mini（无标记）	taf_dataset/gs_mini/	84
定制传感器（无标记）	taf_dataset/custom_designed/	84
定制传感器（6×6 标记）	taf_dataset/custom_designed/	74
定制传感器（7×7 标记）	taf_dataset/custom_designed/	10
定制传感器（8×8 标记）	taf_dataset/custom_designed/	32

数据模态

每一帧包含以下同步观测数据：

字段	形状	描述
observation.image	240×320×3	RGB 触觉图像
observation.pressure_matrix	12×12	压电压力分布图
observation.force_torque	6	ATI 力/力矩测量值，顺序为 Fx, Fy, Fz, Tx, Ty, Tz
timestamp	1	帧时间戳（秒）
frame_index	1	片段内帧索引
episode_index	1	片段标识符

法向力通道 Fz 是主要接触方向上的载荷指标，而完整的六维力矩保留了切向力和旋转交互动态信息。

数据组织结构

数据集遵循 LeRobot v3 格式，仓库结构如下：

TaF-Dataset/ ├── README.md └── taf_dataset/ ├── gs_mini/ (含 208 个序列) └── custom_designed/ (含 200 个序列)

每个序列采用相同的 LeRobot 布局：

<sensor_configuration>_obj<ID>/ ├── data/chunk-000/file-000.parquet ├── videos/observation.image/chunk-000/file-000.mp4 └── meta/ ├── episodes/chunk-000/file-000.parquet ├── collection_config.json ├── info.json ├── stats.json └── tasks.parquet

ID 范围说明

各传感器配置使用独立的数字 ID 编号：

相对路径模式	ID 范围
taf_dataset/gs_mini/gs_mini_obj<ID>	1–124
taf_dataset/gs_mini/gs_mini_wo_marker_obj<ID>	1–84
taf_dataset/custom_designed/custom_designed_no_mark_obj<ID>	1–84
taf_dataset/custom_designed/custom_designed_6*6_mark_obj<ID>	1–74
taf_dataset/custom_designed/custom_designed_7*7_mark_obj<ID>	1–10
taf_dataset/custom_designed/custom_designed_8*8_mark_obj<ID>	1–32

注意: 数字 ID 仅在各传感器配置内局部有效，不同前缀但相同 ID 的目录可能代表不同的序列，不能视为包含相同物理对象。

引用信息

bibtex @article{huang2026tafvla, title = {TaF-VLA: Tactile-Force Alignment in Vision-Language-Action Models for Force-aware Manipulation}, author = {Huang, Yuzhe and Lin, Pei and Li, Wanlin and Li, Daohan and Li, Jiajun and Jiang, Jiaming and Xiao, Chenxi and Jiao, Ziyuan}, journal = {arXiv preprint arXiv:2601.20321}, year = {2026} }

搜集汇总

数据集介绍

构建方式

TaF-Dataset的构建以同步采集多模态触觉与力觉信号为核心。数据采集过程中，采用ATI六轴力/力矩传感器实时记录交互力与力矩（Fx、Fy、Fz、Tx、Ty、Tz），同时利用压电传感阵列获取12×12的空间压力分布图，以精确识别接触区域；视觉触觉传感器则同步捕获对应的触觉图像。所有信号在时间维度上严格对齐，使得模型能够将局部触觉形变与接触位置同物理交互力建立直接关联。数据集涵盖六种触觉传感器配置，包括有无标记点的GelSight Mini传感器以及不同标记点密度的定制传感器，从而为力觉感知研究提供了丰富的数据基础。

特点

该数据集具备显著的规模与多样性优势，包含超过1005万个同步帧、3592个操作片段以及408个物体/传感器序列。每个数据帧均提供240×320的RGB触觉图像、12×12的压电压力图以及完整的六轴力/力矩信号，其中法向力Fz通道能清晰反映主接触方向的载荷情况，而完整的六维力/力矩数据则保留了切向力与旋转交互的动态特性。数据集遵循LeRobot v3布局进行组织，所有序列按照传感器配置与物体编号分层存储，便于检索与扩展。这种多模态、高同步度的数据构造，为力觉感知表征与接触丰富的机器人操作研究奠定了坚实基础。

使用方法

使用TaF-Dataset时，研究者可通过LeRobot框架直接加载数据。数据集根目录下，`taf_dataset/`子目录包含`gs_mini/`与`custom_designed/`两大传感器配置组，每组下再按物体ID划分序列。每个序列文件夹内含`data/`目录存储力与压力信号的Parquet文件，`videos/`目录存放触觉图像的MP4视频，以及`meta/`目录提供episode元数据、采集配置与任务信息。用户可根据需要指定传感器类型与物体ID，利用`observation.image`、`observation.pressure_matrix`和`observation.force_torque`字段获取同步的多模态数据，从而训练触觉力觉表示模型或验证力觉泛化方法。

背景与挑战

背景概述

TaF-Dataset是由Huang等人于2026年提出的大规模触觉-力觉同步数据集，旨在服务于力感知机器人操作领域的研究。该数据集由多机构研究人员联合构建，核心研究问题聚焦于如何将触觉图像、压力分布与六维力/力矩信号进行时空对齐，以学习触觉-力觉联合表征。通过引入ATI六轴力/力矩传感器、压电传感阵列与视觉触觉传感器等多模态数据采集系统，TaF-Dataset为后续提出的TaF-VLA模型提供了训练基础，推动了视觉-语言-动作模型在力敏感操作中的泛化能力。该数据集涵盖超过1000万帧同步数据、3592个操作片段及六种触觉传感器配置，成为机器人触觉理解与精细操作研究的重要基准。

当前挑战

该数据集面临的挑战分为领域问题与构建层面。在领域问题上，接触式机器人操作长期受限于力觉感知的缺失，传统视觉语言模型难以捕捉接触力、力矩等物理量，导致操作策略缺乏力敏感性，容易导致物体损坏或抓取失败。构建过程中，传感器异构数据（摄像头的RGB图像、稀疏压力矩阵、六维力向量）的时空同步是一大技术难点，需确保各模态在毫秒级精度内对齐；此外，跨传感器配置（如不同标记密度、传感器规格）的数据一致性管理，以及大规模真实物理交互过程中的噪声抑制与运动畸变校正，均对数据质量控制提出了严苛要求。

常用场景

经典使用场景

在触觉感知与机器人操作领域，TaF-Dataset被广泛用于训练能够同时理解触觉图像、压力分布与力/力矩信息的跨模态表征模型。研究者常将其作为多模态触觉学习的基础基准，利用其超过千万帧的同步数据，探索如何将局部触觉形变与全局接触力建立映射关系。该数据集的经典使用方式包括构建力感知的触觉编码器，以及作为预训练数据集支撑后续的机器人精细操作任务。

解决学术问题

该数据集有效解决了触觉感知研究中长期存在的力觉信息与触觉图像难以精准对齐的难题。通过同步记录六轴力/力矩、压电阵列压力图与视觉触觉图像，TaF-Dataset为建立从触觉表观到物理交互力的因果模型提供了可靠数据基础。它的出现推动了接触丰富环境下力感知表征学习的发展，显著降低了触觉研究中对昂贵专用力传感器依赖的门槛，为触觉与力觉融合的学术研究奠定了重要基石。

衍生相关工作

该数据集催生了一系列开创性研究工作，其中最典型的是其伴生工作TaF-VLA，首次提出了触觉-力觉对齐的视觉-语言-动作模型框架。后续研究在此基础上拓展了跨触觉传感器的知识迁移方法，开发了利用大规模触觉力数据进行自监督预训练的通用触觉表征。同时，基于该数据集的触觉模仿学习、力觉增强的强化学习策略等方向也涌现出大量高质量成果，推动了触觉感知在机器人学习领域的系统化发展。