vibrosense

Vibrosense数据集是一个专注于利用振动声学传感技术实现机器人手部接触感知的开源数据集。该数据集旨在提供一种经济高效且可扩展的解决方案，通过七个低成本压电麦克风和音频频谱图转换器解码物理交互过程中产生的振动信号。数据集支持四种主要任务：接触定位（预测机器人手部接触位置）、轨迹跟踪（重建动态交互中的接触点轨迹）、物体分类（识别被触摸物体）以及材料检测（区分接触表面材料如金属、塑料、木材等）。数据集采用webdataset格式存储，便于高效的大规模数据处理和流式传输。数据分为多个目录，包括localisation（接触定位和材料检测）、quickdraw（轨迹跟踪）、quickdraw_testset（轨迹跟踪测试集）和objects（物体分类）。该数据集适用于机器人触觉感知、深度学习模型训练等应用场景。

原始信息汇总

数据集概述

VibroSense 是一个用于机器人手部触觉感知的振动声学数据集，旨在通过低成本压电麦克风实现鲁棒的接触定位、轨迹追踪与材料感知。

基本信息

• 许可证：MIT
• 数据集规模：大于 1TB
• 标签：触觉感知、振动声学感知、接触定位、深度学习

数据格式

数据集采用 WebDataset 格式生成和存储，适用于大规模数据的高效处理和流式读取。

数据结构

数据集包含以下主要目录：

• localisation/：用于触摸定位和材料检测任务，包含不同材料（软塑料（瓶盖）、金属、塑料、木材）的滤波和已处理信号。
• quickdraw/：用于轨迹追踪任务，包含固定手和移动手条件下的数据，涵盖不同材料。
• quickdraw_testset/：轨迹追踪任务的测试集，结构与 quickdraw/ 类似。
• objects/：使用三个麦克风收集的物体分类数据。

支持的任务

1. 触摸定位：根据振动信号预测机器人手上的接触位置。使用 localisation/filtered/ 和 localisation/processed_* 目录。
2. 轨迹追踪（Quickdraw）：追踪并重建动态交互过程中接触点的轨迹。使用 quickdraw/ 和 quickdraw_testset/ 目录。
3. 物体分类：基于振动响应识别被触摸的物体。使用 objects/dataset/ 目录。
4. 材料检测（使用定位数据集）：利用定位数据集识别接触表面的材料（如金属、塑料、木材、软塑料）。使用 localisation/filtered/ 和 localisation/processed_* 目录。

获取更多信息

• 论文：点击访问论文页面
• 代码仓库：点击访问 GitHub

引用

bibtex @InProceedings{ZaiElAmri2026VibroSense, author = {Zai El Amri, Wadhah and {Navarro-Guerrero}, Nicol{a}s}, title = {"Vibro-Sense: Robust Vibration-based Impulse Response Localization and Trajectory Tracking for Robotic Hands"}, booktitle = {"ArXiv Preprint arXiv:2601.20555, Submitted to Autonomous Robots Springer Journal"}, year={2026}, }

搜集汇总

数据集介绍

构建方式

Vibrosense数据集依托于振动声学传感技术构建，旨在为机械手提供鲁棒且低成本的接触感知能力。该数据集利用七个低成本的压电麦克风，采集机械手在物理交互过程中产生的振动信号，并借助音频频谱变换器（Audio Spectrogram Transformer）对其解码。数据以webdataset格式高效存储与流式处理，划分为定位、轨迹跟踪、物体分类与材料检测四个核心任务目录，分别包含经过滤波与预处理的信号文件，支持大规模深度学习训练。

特点

该数据集的核心特点在于其多任务兼容性与环境鲁棒性。它不仅能够实现高精度的全身触觉定位，还能动态追踪接触点轨迹，并具备材料感知能力。数据涵盖了软塑料、金属、塑料与木材等多种材质，在机械手固定与运动状态下均能稳定运行。此外，数据集的规模超过1TB，采用高效格式存储，便于分布式处理与快速迭代训练。

使用方法

数据集以预处理的信号形式提供，可直接用于深度学习模型的训练与评估。使用者可参考随附的论文与代码仓库获取模型训练细节。具体而言，定位任务可使用localisation目录下的滤波与处理信号；轨迹追踪任务则基于quickdraw及quickdraw_testset目录；物体分类依赖objects/dataset；材料检测亦可复用定位数据。所有数据需通过webdataset加载，建议结合PyTorch等框架进行流式读取与处理。

背景与挑战

背景概述

触觉感知在机器人灵巧操作中扮演着至关重要的角色，然而传统的触觉传感器往往成本高昂、易磨损且难以集成到紧凑的机器人系统中。Vibrosense数据集由Wadhah Zai El Amri与Nicolás Navarro-Guerrero于2026年创建，旨在利用振动声学传感技术实现低成本、鲁棒且可扩展的机器人手部接触感知。该研究通过七个压电麦克风捕获物理交互产生的振动信号，并借助音频频谱变换器解码其中蕴含的空间与材料信息。Vibrosense不仅推动了基于振动的触觉定位与轨迹跟踪研究，还为机器人领域提供了首个涵盖多点接触、动态交互与材料识别的综合性大规模基准数据集，对发展无视觉依赖的触觉反馈系统具有里程碑式的影响。

当前挑战

当前该领域面临的核心挑战在于如何从高噪声、高冗余的振动信号中准确提取接触位置与运动轨迹，尤其是在机器人自身运动产生混杂振动干扰的条件下。Vibrosense构建过程中需解决多传感器同步、不同材质表面振动传播特性显著差异以及数据规模超过1TB带来的存储与传输难题。此外，动态轨迹跟踪任务要求模型端到端解析连续触摸过程中的时变频谱特征，而现有深度学习方法在泛化到未知材质与未见过的手部构型时仍显不足。数据集本身还需应对标注精度对空间分辨率造成的限制，以及不同机械结构对手部振动模态的敏感度差异。

常用场景

经典使用场景

在机器人触觉感知领域，接触定位与轨迹追踪是实现灵巧操作的核心挑战。Vibrosense数据集通过部署七个低成本压电麦克风，采集机器人手部在物理交互过程中产生的振动声学信号，从而支持高精度的全手接触定位与动态轨迹重建。该数据集的经典使用方式包括：基于振动信号预测接触点坐标、重构连续滑动轨迹、识别被接触物体的材质类别，以及区分不同物体的振动特征。这些任务均依托于Audio Spectrogram Transformer模型，借助频谱图特征实现对振动模式的深度解码，为无视觉或力觉传感器条件下的触觉感知提供了高效、鲁棒的解决方案。

实际应用

在实际应用层面，Vibrosense数据集所支撑的技术能够显著降低机器人触觉系统的硬件门槛，推动其在多种真实场景中的落地。例如，在工业装配线上，机器人可利用振动信号实时感知工件接触状态，完成精密抓取与装配任务；在康复辅助领域，机械手可通过振动触觉反馈实现柔顺交互，避免对用户造成伤害；在服务机器人中，该技术可用于检测物体材质与接触轨迹，从而优化操作策略。此外，其抗运动干扰的特性尤其适合行走机器人或移动机械臂场景，使触觉感知不再局限于静态或特定姿态，展现出在智能制造、医疗辅助及人机共融环境中的广泛应用潜力。

衍生相关工作

自Vibrosense数据集发布以来，已催生出一系列富有影响力的衍生研究工作。基于其提供的振动信号与轨迹标签，研究者们探索了多种新型建模方法，包括利用时频分析结合卷积神经网络提升轨迹追踪精度、引入自注意力机制实现跨材质迁移学习，以及开发轻量化模型以便在边缘设备上实时运行。此外，该数据集还启发了多模态融合研究，例如将振动触觉与视觉或力觉信息结合，在遮挡场景下弥补单一模态的不足。在移动机器人领域，其抗振特性激励了在足式机器人触觉反馈系统中的创新应用。这些工作不仅验证了基于振动感知方案的可行性，也推动了低成本、高鲁棒性机器人触觉系统的持续演进。