Multi-Point Tactile Dataset for Dexterous Hand Grasping (Dex-MPTD)

Dex-MPTD是一个针对灵巧手抓取的多点触觉数据集，由上海交通大学图像通信与网络工程研究所和帕西尼科技公司合作创建。该数据集从灵巧手的多接触传感器上捕获触觉信号，涵盖了多种物体和抓握姿势，为灵巧机器人操作研究提供了一个全面的基准。数据集包含1140个触觉单元，每个单元捕捉三维空间力信息。通过将触觉信号转换为图像并进行压缩，该数据集可以显著降低数据体积，提高系统响应速度和效率。Dex-MPTD旨在解决多任务抓取和操作中触觉数据量大的问题，为智能机器人多自由度操作提供支持。

Dex-MPTD is a multi-point tactile dataset for dexterous hand grasping, co-developed by the Institute of Image Communication and Network Engineering of Shanghai Jiao Tong University and Pacini Technology Co., Ltd. This dataset captures tactile signals from multi-contact sensors on dexterous hands, covers a wide range of objects and grasping postures, and serves as a comprehensive benchmark for dexterous robotic manipulation research. The dataset comprises 1140 tactile units, each of which captures 3D spatial force information. By converting tactile signals into images and compressing the data, it can significantly reduce data volume and enhance system response speed and efficiency. Dex-MPTD aims to address the issue of large-scale tactile data in multi-task grasping and manipulation, providing support for multi-degree-of-freedom manipulation of intelligent robots.

搜集汇总

数据集介绍

构建方式

Dex-MPTD数据集的构建依托于PaXiniTech研发的多自由度灵巧手DexH13，该设备配备11个传感器阵列，共1140个触觉单元，每个单元能捕捉三维空间应力信号。数据集采集过程中，设计了四种抓取姿态（捏取、三指抓取、圆柱抓取和球形抓取）与八类日常物体（如苹果、鸡蛋、瓶子等）的交互组合，每种组合重复10次以保证数据多样性。触觉信号通过实时融合关节角度数据，重建为整个机械手的接触应力分布，并按时间维度拼接为1140×T×3的矩阵，最终映射为RGB图像格式以保留时空特征。

使用方法

研究者可通过三种路径利用该数据集：1) 压缩算法评估，将触觉图像输入BPG、FLIF等六种无损压缩或VTM、HM等五种有损压缩算法，对比比特率（bpss）与峰值信噪比（PSNR）指标；2) 下游任务验证，使用t-SNE降维与K均值聚类分析数据可分性，或通过SVM、随机森林等分类器实现物体识别；3) 物理交互建模，结合不同抓取姿态下的力分布特征，优化灵巧手的控制策略。数据集特别适用于需要高带宽触觉传输的实时操作场景，压缩后数据量可降低200倍（无损）至1000倍（有损）仍保持分类精度损失小于1%。

背景与挑战

背景概述

Multi-Point Tactile Dataset for Dexterous Hand Grasping (Dex-MPTD) 是由PaXini Tech与上海交通大学的研究团队于2025年联合推出的创新性数据集，旨在解决灵巧手多触点触觉感知中的核心挑战。随着机器人灵巧手传感器数量与精度的提升，触觉数据量呈现指数级增长，传统单点触觉感知模式已无法满足复杂抓取任务的需求。该数据集通过集成11个传感器阵列的DexH13灵巧手，采集了8类物体在4种抓取姿态下的三维应力信号，填补了多自由度灵巧手触觉数据集的空白，为触觉压缩算法与机器人精细操作研究提供了重要基准。

当前挑战

Dex-MPTD面临双重技术挑战：在领域问题层面，需解决多传感器触觉信号的高维时空关联性建模难题，传统单点触觉处理方法难以有效捕捉灵巧手物理结构导致的传感器间复杂耦合关系；在构建过程中，需克服多模态数据同步采集的精度控制问题，包括1140个触觉单元的三维力信号与关节角度数据的毫秒级时间对齐，以及不同物体表面特性引发的触觉信号非线性变异。实验表明，原始数据带宽达2.7Mbps时，需开发新型压缩算法实现200倍以上的数据压缩率，同时保持下游任务如物体分类的准确度损失不超过1%。

常用场景

经典使用场景

在机器人灵巧手操作研究中，Dex-MPTD数据集被广泛用于多触点触觉信号的采集与分析。该数据集通过捕捉不同物体和抓取姿势下的触觉反馈，为研究者提供了丰富的实验数据。尤其在处理遮挡问题时，数据集的多点触觉信息能够弥补视觉感知的不足，使得机器人能够在复杂环境中实现精准操作。

解决学术问题

Dex-MPTD数据集解决了灵巧手操作中触觉数据高带宽传输的难题。通过将触觉信号转换为图像并进行压缩，数据集展示了高达200倍的无损压缩比和1000倍的有损压缩比，显著降低了数据传输和存储的需求。这一成果为实时触觉反馈系统的设计提供了重要参考，推动了机器人触觉感知技术的发展。

实际应用

在实际应用中，Dex-MPTD数据集被用于优化工业机器人的抓取和操作任务。例如，在自动化装配线上，机器人可以利用该数据集训练的模型，实现对不同形状和材质物体的稳定抓取。此外，数据集还被应用于医疗机器人领域，帮助开发更精准的手术操作辅助系统。

数据集最近研究

最新研究方向

近年来，Multi-Point Tactile Dataset for Dexterous Hand Grasping (Dex-MPTD) 数据集在机器人灵巧操作领域引起了广泛关注。随着机器人灵巧手的触觉传感器数量和精度的提升，触觉数据的传输和处理面临巨大挑战。Dex-MPTD 通过捕捉多触点触觉信号，为灵巧手的精细操作研究提供了全面的基准。前沿研究主要集中在触觉数据的高效压缩算法上，包括无损和有损压缩技术。通过将触觉数据转换为图像格式并应用先进的图像编解码器，研究人员实现了高达200倍的无损压缩比和1000倍的有损压缩比，显著降低了数据传输和存储的带宽压力。此外，该数据集在物体分类等下游任务中的表现也验证了其在实际应用中的价值。这些研究不仅推动了机器人触觉感知技术的发展，也为实时操作和远程控制提供了新的解决方案。

相关研究论文

• TacCompress: A Benchmark for Multi-Point Tactile Data Compression in Dexterous Manipulation

  上海交通大学图像通信与网络工程研究所, 帕西尼科技公司 · 2025年