TUM-ICS/Hide-and-Seek

Hide-and-Seek（HAS）数据集是一个大规模多模态触觉数据集，专门用于在视觉受限环境中进行仅触觉的物体识别和检索。该数据集包含1,120,116个帧级触觉示例（约1.12M帧），分为约5.4k个轨迹。它涵盖33个物理对象、1个负类、61个对象-重量类别，以及4个重量标签（无、轻、中、重）。数据来自机器人皮肤触觉传感器、手腕力扭矩传感和机器人本体感知，支持基于学习的触觉感知，用于物体分类、重量分类和双手机器人验证。数据集以Parquet格式存储，并提供官方的训练/验证/测试划分。

The **Hide-and-Seek (HAS)** dataset is a large-scale multimodal tactile dataset for **tactile-only object recognition and retrieval in vision-denied environments**.

搜集汇总

数据集介绍

构建方式

Hide-and-Seek（HAS）数据集是在视觉受限环境下，利用触觉全向移动机械臂（TOMM）采集而成。数据收集包括单手推压交互和双手抓取验证两种模式，覆盖33个物理物体和61个物体-重量类别。每个样本帧同步记录触觉点云、原始皮肤信号、虚拟皮肤扳手、末端执行器位姿和腕部力-力矩传感器数据，形成88×6维触觉点云等五模态时间序列。官方划分训练、验证和测试集，分别包含约77.7万、22.1万和12.2万帧样本。

特点

该数据集具有大规模多模态触觉感知特点，共计约112万帧样本和5400条轨迹，是首个支持机器人在视觉被屏蔽环境下进行物体识别与检索的公开数据集。触觉点云来自双手共88个分布式皮肤单元，并提供原始力、距离、接近度以及聚合的DAMI特征。数据集包含负类样本和四类重量标签（无、轻、中、重），跨多天随机放置物体采集，显著减少单一传感器状态的过拟合。

使用方法

研究人员可通过HuggingFace Datasets库加载数据集，如`load_dataset("TUM-ICS/Hide-and-Seek")`，获取三个子集。每帧数据以Parquet格式存储，包含完整的时间序列和标签。支持基于窗口的触觉时间序列分类任务，可预测物体身份和重量类别。提供官方标签映射文件（label_mapping.yaml），方便将整数标签解析为物体名称和重量类别。论文中采用双头多模态分类器，实现联合预测，并提供基线结果供参照。

背景与挑战

背景概述

Hide-and-Seek（HAS）数据集由德国慕尼黑工业大学（Technical University of Munich）Gordon Cheng团队于2026年ICRA会议期间创建，核心研究人员包括Xiangyu Fu等人。该数据集聚焦于机器人领域中的一个关键挑战——视觉受限环境下的触觉感知，旨在实现仅依赖触觉反馈的双臂机器人对物体的盲搜索与检索。HAS数据集规模宏大，包含超过112万帧触觉样本，覆盖33种物理物体与61种物体-重量组合，通过分布式触觉皮肤、腕部力觉传感器及机器人本体感知等多种模态同步记录。其发布为触觉感知、双臂操作与多模态学习提供了标准化基准，推动了机器人从视觉依赖向触觉主导的感知范式转变，对工业自动化、人机交互及服务机器人等领域具有重要的学术与应用价值。

当前挑战

HAS数据集所解决的领域问题核心挑战在于视觉受限（如黑暗、遮挡）环境中，机器人如何通过纯触觉反馈完成物体识别与检索，这对传统依赖视觉的感知方法构成根本性挑战。在数据集构建过程中，研究团队需克服多重困难：首先，触觉传感器数据具有高噪声与时空依赖性，需设计精密的同步采集方案与多模态融合策略；其次，物理物体的重量与纹理变化使得分类边界模糊，需引入61个细粒度标签以区分物体-重量组合；此外，双臂操作轨迹的随机性及跨天采集带来的传感器状态漂移，增加了数据分布的复杂性，需通过系统的实验协议与严格的数据划分来保证模型泛化能力。

常用场景

经典使用场景

在机器人触觉感知研究的前沿领域，Hide-and-Seek数据集为视觉受限环境下的物体识别与检索提供了核心基准。该数据集最经典的使用场景是触觉驱动的物体分类与重量判断任务，研究者可利用1.12M帧多模态触觉数据训练神经网络，通过融合触觉点云、力觉传感和机器人本体感知信息，实现在完全无视觉反馈条件下对33类物体及4种重量等级的联合辨识。数据集提供的标准训练/验证/测试划分确保了跨方法评估的可重复性。

解决学术问题

该数据集系统性地解决了触觉感知研究中数据规模不足与多模态融合困难两大瓶颈。传统研究多依赖小型定制数据集，难以支撑深度模型训练；同时缺乏对齐的多模态触觉表示，限制了感知泛化能力。Hide-and-Seek通过大规模采集同步的触觉点云、力觉和位姿数据，为研究鲁棒的触觉表征学习、跨模态特征对齐以及触觉驱动的推理机制提供了坚实基础，推动触觉感知从封闭实验走向真实机器人应用。

衍生相关工作

围绕Hide-and-Seek数据集已衍生出多项代表性工作。ICRA 2026论文提出的双头多模态分类器成为触觉感知的基线方法，联合预测物体类别与重量等级。后续工作包括融合时序注意力机制的触觉轨迹编码器，以及利用图神经网络处理触觉点云的非欧结构。这些工作推动了触觉感知从静态分类走向动态交互理解，涌现出触觉知识蒸馏、跨物体迁移学习等新方向，进一步拓展了触觉机器人的认知边界。