pair_touch_13m

PairTouch 13M数据集是一个多模态触觉数据集，包含姿态估计、力测量和触觉传感器数据。数据集提供了四种配置（pose_data、force_data、tacniq_gsmini、xela_9dtact），每种配置对应不同的传感器组合和数据内容。具体包括：
1. pose_data：姿态估计数据，使用tac02/xela和相机传感器。
2. force_data：力测量数据，使用tac02/xela和gelsight传感器。
3. tacniq_gsmini：TacNIQ和GSMini传感器数据。
4. xela_9dtact：XELA和9DTact传感器数据。

数据集详细描述了传感器的布局、力类型、采样频率、数据字段和维度等信息。例如，tac02/tacniq传感器的布局为11x6=66个触觉单元，仅测量Z轴方向的力；xela传感器的布局为4x6=24个触觉单元，测量3D力（X、Y、Z轴）。此外，还提供了数据预处理和使用的详细说明，包括如何加载数据集、生成热图、视频等。

原始信息汇总

PairTouch 13M 数据集概述

数据集基本信息

• 数据集名称: PairTouch 13M Dataset
• 数据集地址: https://huggingface.co/datasets/BorisGuo/pair_touch_13m
• 核心描述: 包含姿态、力和触觉传感器数据的多模态触觉数据集。

配置 (Configs)

数据集包含四个配置，每个配置对应不同的数据子集和传感器组合。

配置名称	描述	传感器
pose_data	姿态估计数据	tac02/xela + 相机
force_data	力测量数据	tac02/xela + gelsight
tacniq_gsmini	TacNIQ + GSMini 数据	tacniq + gsmini
xela_9dtact	XELA + 9DTact 数据	xela + 9dtact

触觉传感器规格

tac02 / tacniq

• 触元布局: 11 x 6 = 66 个触元
• 力类型: 仅 Z 轴法向力
• 失效触元: 索引 0（左上）和 5（右上）始终读数为 0，应忽略

xela

• 触元布局: 4 x 6 = 24 个触元
• 力类型: 3D 力（X, Y, Z 轴），共 72 个值 (24 x 3)
• 数据格式: 展平为 [x0, y0, z0, x1, y1, z1, ..., x23, y23, z23]

采样频率

force_data (每帧 1 个触觉样本)

数据集	帧率	触觉传感器
9dtact_force_h5	~10 Hz	-
gelsight_force_h5	~25 Hz	-
tac02_force_h5	~200 Hz	tac02
xela_force_h5	~100 Hz	xela

pose_data (每帧多个触觉样本)

数据集	帧率	样本/帧	有效触觉频率
tac02_pose_h5	~7.5 Hz	20	~150 Hz
xela_pose_h5	~7.5 Hz	10	~75 Hz
gelsight_pose_h5	~7.5 Hz	-	-
9dtact_pose_h5	~7.5 Hz	-	-

配对传感器数据

数据集	帧率	传感器
tacniq_gsmini	10 Hz	tacniq + gsmini
xela_9dtact	10 Hz	xela + 9dtact

数据字段

• file_name: 图像文件路径
• episode_id: 片段标识符
• frame_idx: 片段内帧索引
• timestamp: 时间戳
• rotation: 3D 旋转
• translation: 3D 平移
• tactile: tac02 传感器矩阵 (11x6 触元，仅 Z 轴)
• xela: XELA 传感器矩阵 (4x6x3 触元，3D 力)
• tacniq: TacNIQ 传感器矩阵 (与 tac02 相同)
• video: 片段视频路径

数据维度

• images: (N, S, 224, 224, 3) - N 帧，每帧 S 个样本
• tactile (pose_data): (N, 20, 66) - N 帧，20Hz 采样，66 个触元 (11x6)
• xela (pose_data): (N, 10, 72) - N 帧，10Hz 采样，72 个值 (4x6x3)
• tactile/xela (force_data): (N, 66) 或 (N, 72) - 每帧 1 个样本

数据加载方式

python from datasets import load_dataset ds = load_dataset("BorisGuo/pair_touch_13m", "pose_data")

搜集汇总

数据集介绍

构建方式

在触觉感知研究领域，多模态数据的采集与整合对于推动机器人触觉智能的发展至关重要。PairTouch 13M数据集通过精心设计的实验流程，系统性地采集了姿态、力觉与触觉传感器的同步数据。其构建过程涉及多种触觉传感器，包括tac02、xela、tacniq与gsmini等，数据以H5格式存储，并通过预处理脚本转化为结构化的图像与JSON文件。该数据集涵盖了不同采样频率的配置，例如pose_data中每帧包含多个触觉样本以模拟高频触觉反馈，而force_data则专注于每帧的单一样本力测量，确保了数据在时间与空间维度上的丰富性与一致性。

特点

该数据集的核心特点在于其多模态与高并行的触觉数据集成。它提供了四种不同的配置，分别针对姿态估计、力测量以及成对传感器数据，如tacniq_gsmini和xela_9dtact，实现了触觉信号与视觉信息的深度融合。传感器数据具有明确的时空特性，例如tac02采用11x6的阵列布局仅感知Z轴法向力，而xela则提供4x6阵列的三维力信息，采样频率从10Hz至200Hz不等，适应了不同研究场景的需求。数据维度设计科学，如pose_data中的触觉数据形状为(N, 20, 66)，有效平衡了帧率与细节分辨率，为触觉表征学习提供了坚实的基础。

使用方法

使用该数据集时，研究人员可通过Hugging Face的datasets库便捷加载特定配置，例如加载pose_data以获取姿态与触觉的关联数据。数据集附带的preprocess.py脚本支持全面的数据处理流程，包括从H5文件中提取图像与JSON、生成触觉热力图、可视化标记流以及打包上传等功能。用户可以根据需要调用不同命令，如生成特定类型的热力图或视频，以辅助数据可视化与分析。这种模块化的使用方法，不仅简化了数据访问步骤，还支持自定义预处理，使得数据集能够灵活应用于触觉感知、机器人操作及多模态学习等前沿研究方向。

背景与挑战

背景概述

在机器人触觉感知领域，多模态触觉数据集的构建对于推动机器人灵巧操作与交互研究至关重要。PairTouch 13M数据集由BorisGuo等人创建，旨在整合姿态、力觉与触觉传感器数据，为机器人触觉感知与操作任务提供大规模、高质量的多模态数据资源。该数据集的核心研究问题聚焦于如何通过融合不同触觉传感器（如tac02、xela、gelsight等）的异构数据，实现对物体接触状态、表面纹理与力学特性的精确建模，进而提升机器人对物理交互的理解与控制能力。其发布显著促进了触觉感知算法、多模态融合模型以及机器人操作策略等领域的研究进展，为相关学术探索与工程应用奠定了坚实的数据基础。

当前挑战

PairTouch 13M数据集致力于解决机器人触觉感知中的多模态数据融合与精确建模挑战，其核心问题在于如何从异构触觉传感器（如仅感知Z轴力的tac02与提供三维力信息的xela）中提取统一且鲁棒的特征表示，以支持复杂的接触推理与操作任务。在构建过程中，数据集面临多重技术挑战：不同传感器的采样频率差异显著（如tac02约200赫兹，而某些配置仅10赫兹），需通过时间对齐与插值确保数据同步；传感器布局与死区（如tac02中特定税尔始终读数为零）引入数据噪声与缺失，要求精细的预处理与校正；大规模多模态数据的存储、标注与可视化（如热图生成与视频合成）也带来了高昂的计算与工程开销，需设计高效的数据管理流程以保障数据质量与可用性。

常用场景

经典使用场景

在机器人触觉感知研究领域，PairTouch 13M数据集为多模态触觉数据融合提供了经典范例。该数据集整合了姿态估计、力测量以及多种触觉传感器（如tac02、xela、gelsight和9dtact）的同步数据，使得研究人员能够在一个统一的框架下探索触觉信号与视觉、运动信息的关联。其高频采样（如tac02高达200Hz）和多种传感器配对配置（如tacniq_gsmini和xela_9dtact），特别适用于开发触觉表征学习模型，用于理解物体交互过程中的动态接触力学。

衍生相关工作

围绕PairTouch 13M数据集，已衍生出一系列经典研究工作，主要集中在多模态触觉表征学习与跨传感器迁移领域。例如，利用其pose_data配置中的姿态与触觉同步序列，研究者开发了触觉-视觉融合的深度预测模型；基于force_data的高频力信号，开展了接触事件检测与分类算法探索；而tacniq_gsmini等配对数据则支撑了异质触觉传感器间的信号映射与知识迁移研究，推动了触觉感知模型的泛化能力提升。

数据集最近研究

最新研究方向

在触觉感知与机器人操作领域，PairTouch 13M数据集以其多模态触觉数据融合特性，正推动着触觉表征学习与跨模态对齐的前沿探索。研究者们利用其同步采集的位姿、力觉及多种触觉传感器数据，致力于开发能够统一理解视觉与触觉信号的深度模型，以增强机器人在非结构化环境中的灵巧操作与物体识别能力。该数据集支持从高频率的触觉信号处理到低频率的视觉-触觉关联分析，为模仿学习、触觉伺服控制以及具身智能等热点方向提供了关键的数据基石，显著促进了机器人触觉感知系统的实用化与泛化性能提升。