CLAMP数据集

CLAMP数据集是一个大规模的开放源代码多模态触觉数据集，由康奈尔大学的研究团队创建。该数据集包含来自5357个日常家用物体的12.3百万个数据点，由41名非专业用户使用16个CLAMP设备收集。数据集涵盖了多种触觉模态，包括主动热、被动热、力、振动和本体感觉。该数据集旨在推动多模态触觉感知模型的发展，以实现更通用的机器人操作。

The CLAMP dataset is a large-scale open-source multimodal tactile dataset created by a research team at Cornell University. It contains 12.3 million data points from 5,357 daily household objects, collected by 41 non-expert users using 16 CLAMP devices. The dataset covers multiple tactile modalities, including active thermal, passive thermal, force, vibration, and proprioception. This dataset aims to advance the development of multimodal tactile perception models to enable more versatile robotic manipulation.

搜集汇总

数据集介绍

构建方式

CLAMP数据集通过部署16台低成本、开源的CLAMP设备，由41名非专家用户在日常生活环境中收集大规模多模态触觉数据。该设备集成了主动/被动热传感器、力传感器、接触式麦克风和惯性测量单元（IMU），能够同步捕获五种触觉模态数据。数据收集过程采用标准化图形界面引导用户完成物体图像拍摄、语音标注和触觉交互（每个物体五次抓取试验），最终形成包含5357个家庭物品、25.1k次物体交互和1230万数据点的数据集。数据后期经过时间同步、传感器滤波、特征提取（如热传导差异、阻抗特征等）和基于GPT-4o的自动化材料标注流程处理。

特点

作为当前最大的开源多模态触觉数据集，CLAMP的突出特点体现在：1）模态完备性，同步采集热力学（主动/被动）、力学、振动和本体感觉五类触觉信号，并辅以视觉和语言标注；2）场景真实性，数据来自41个家庭环境中的5357种异构物品（如含复合材料的手机），涵盖多样化的抓取力度、速度和方向；3）标注体系创新，通过Whisper语音转写和GPT-4o多模态推理，自动化生成16类材料标签、表面异质性标记及软硬度分类。相比现有数据集，其数据规模超出同类最佳基准12倍，且首次包含非结构化环境下的抓取交互数据。

使用方法

该数据集支持三类主要应用：1）触觉编码器训练，采用InceptionTime架构处理九维时序特征（含热传导率、阻抗等衍生特征），实现材料分类准确率59%；2）多模态感知模型开发，通过两层MLP融合触觉编码器与GPT-4o视觉编码器（λKL=0.1的KL散度损失），在保留测试集上达到87%准确率；3）机器人操作迁移，仅需15%目标机器人数据微调即可使Franka机械臂在废品分类任务中获得93%的准确率。具体使用时需注意数据过滤规则（如剔除初始温度<51°C的样本），并提供设备CAD图纸与特征提取代码以实现跨平台部署。

背景与挑战

背景概述

CLAMP数据集由康奈尔大学的研究团队于2025年提出，旨在解决机器人操作中多模态触觉感知的数据稀缺问题。该数据集通过开源的低成本传感器设备CLAMP，在真实家庭环境中采集了涵盖5357个日常物体的1230万条多模态触觉数据，涉及主动/被动热感、力觉、振动等7种感知模态。其创新性在于首次通过众包方式实现了大规模、非结构化环境下的触觉数据采集，突破了传统实验室受控数据集的局限，为机器人材质识别、柔顺性判断等物理属性理解任务提供了重要基准。数据集通过三组机器人实体验证了模型在垃圾分类、物体抓取等实际任务中的泛化能力，推动了触觉感知与视觉融合的跨模态研究。

当前挑战

构建CLAMP数据集面临双重挑战：在领域问题层面，触觉感知需克服视觉模态对材质、柔顺性等非几何属性表征不足的缺陷，同时解决动作依赖性带来的跨机器人平台泛化难题；在数据构建层面，需设计轻量化（<200美元）且支持多模态同步采集的硬件设备，协调41个家庭用户规范采集流程以保证数据质量，并开发自动化标注系统处理语音和图像注释。此外，数据多样性要求覆盖不同抓取力度、速度及异质材质物体，而传感器噪声抑制、多模态时序对齐等工程技术问题进一步增加了数据集构建复杂度。

常用场景

经典使用场景

CLAMP数据集作为当前最大的开源多模态触觉数据集，在机器人感知领域具有广泛的应用价值。其经典使用场景主要集中在机器人对物体材料和柔顺性的识别任务上。通过整合视觉、语音和七种触觉模态数据，该数据集为研究人员提供了丰富的多模态信息，可用于训练和评估触觉感知模型。在机器人抓取和操作任务中，CLAMP数据集能够帮助机器人更准确地理解物体属性，从而做出更合理的操作决策。

实际应用

在实际应用方面，CLAMP数据集已经成功应用于多个机器人操作场景。其中包括垃圾分类任务，机器人通过触觉感知判断物品材料属性；物品检索任务，在视觉受限环境下通过触觉识别目标物体；以及水果成熟度检测，通过触觉特征区分香蕉的成熟程度。这些应用验证了大规模真实世界触觉数据对提升机器人操作能力的重要价值，为服务机器人、工业自动化等领域提供了新的技术可能性。

衍生相关工作

基于CLAMP数据集已经衍生出多项重要研究工作。最典型的是CLAMP模型，这是一个视觉-触觉融合的感知模型，能够在新物体和不同机器人平台上实现良好的泛化性能。此外，该数据集还启发了触觉编码器的迁移学习研究，证明预训练的触觉表征可以跨任务迁移。在应用层面，衍生出了基于触觉感知的垃圾分类系统、物品检索算法等实际解决方案，推动了触觉感知从实验室向实际应用的转化。