TactileTracking

TactileTracking数据集是一个基于触觉的对象跟踪基准数据集，包含12个不同对象的84次跟踪试验，每次试验平均持续10.2秒。数据集包括触觉视频、每帧的6DoF地面真实传感器姿态以及预处理的表面几何结构。数据集的收集涉及将每个对象固定在工作台上，并使用运动捕捉系统在接触时跟踪传感器的姿态。每个试验目录包含触觉视频、第三人称视角视频、传感器6DoF姿态的数组、接触掩码和梯度图。数据集主要关注帧到帧的对象姿态跟踪，优先考虑旋转运动，以避免传感器损坏。

The TactileTracking dataset is a benchmark dataset for tactile-based object tracking. It contains 84 tracking trials across 12 distinct objects, with each trial lasting an average of 10.2 seconds. The dataset includes tactile videos, 6DoF ground-truth sensor poses per frame, and preprocessed surface geometry. Dataset collection involves fixing each object on a workbench and using a motion capture system to track the sensor's pose during contact. Each trial directory contains tactile videos, third-person perspective videos, an array of the sensor's 6DoF poses, contact masks, and gradient maps. The dataset primarily focuses on frame-to-frame object pose tracking, with rotational movements prioritized to prevent sensor damage.

原始信息汇总

TactileTracking: 基于触觉的对象跟踪数据集

概述

• 数据集名称: TactileTracking
• 数据集类型: 基于触觉的对象跟踪数据集
• 对象数量: 12个
• 跟踪试验次数: 84次（每个对象7次试验）
• 试验时长: 平均每次试验10.2秒
• 数据内容:
  • 触觉视频
  • 每帧的6DoF传感器姿态真值
  • 预处理的表面几何数据

数据集结构

• 数据收集设备: GelSight Mini传感器（无标记）
• 试验目录结构:
  • gelsight.avi: 触觉视频，包含N帧
  • webcam.avi: 第三人称视角视频
  • true_start_T_currs.npy: (N, 4, 4)数组，表示每个触觉帧的6DoF传感器姿态
  • contact_masks.npy: (N, H, W)数组，表示每个帧的接触掩码
  • gradient_maps.npy: (N, H, W, 2)数组，表示每个帧的梯度图

数据集统计

• 对象类别:
  • 日常物品（7个）
  • 小纹理对象（2个）
  • 几何形状（3个）
• 6DoF运动范围: 数据集优先考虑旋转运动，避免过度的平移滑动

引用

• 论文:

  @ARTICLE{huang2024normalflow, author={Huang, Hung-Jui and Kaess, Michael and Yuan, Wenzhen}, journal={IEEE Robotics and Automation Letters}, title={NormalFlow: Fast, Robust, and Accurate Contact-based Object 6DoF Pose Tracking with Vision-based Tactile Sensors}, year={2024}, volume={}, number={}, pages={1-8}, keywords={Force and Tactile Sensing, 6DoF Object Tracking, Surface Reconstruction, Perception for Grasping and Manipulation}, doi={10.1109/LRA.2024.3505815}}

参考文献

• [1] B. Calli, A. Singh, J. Bruce, A. Walsman, K. Konolige, S. Srinivasa, P. Abbeel, and A. M. Dollar, “Yale-cmu-berkeley dataset for robotic manipulation research,” The International Journal of Robotics Research, vol. 36, no. 3, pp. 261–268, 2017.

搜集汇总

数据集介绍

构建方式

TactileTracking数据集的构建依托于GelSight Mini传感器，通过固定12个不同类别的物体于工作台上，利用运动捕捉系统追踪传感器与物体接触时的姿态。每个物体进行7次追踪试验，每次试验起始于不同的接触位置，确保数据的多样性和全面性。数据集包含触觉视频、每帧的6自由度传感器姿态真值以及从触觉视频帧中预处理得到的表面几何信息。

特点

TactileTracking数据集以其丰富的触觉信息和精确的姿态追踪为特点，涵盖了12个不同类别的物体，每个物体进行7次追踪试验，每次试验平均持续10.2秒。数据集不仅提供触觉视频和传感器姿态真值，还包括基于触觉图像计算的接触掩码和梯度图，为触觉感知研究提供了全面的数据支持。此外，数据集特别关注局部运动，避免长距离移动，确保传感器安全。

使用方法

TactileTracking数据集的使用方法包括加载触觉视频、传感器姿态真值、接触掩码和梯度图等数据。研究人员可以利用这些数据进行触觉感知算法的开发和验证，特别是针对6自由度物体姿态追踪的研究。通过结合NormalFlow算法，用户可以在该数据集上进行实时、准确的触觉追踪实验，并与其他方法进行性能对比。

背景与挑战

背景概述

TactileTracking数据集由卡内基梅隆大学机器人感知与学习实验室（RPL）的研究团队于2024年发布，旨在为基于触觉的物体跟踪提供基准数据。该数据集包含12个不同物体的84次跟踪试验，每次试验平均持续10.2秒，涵盖了触觉视频、每帧的6自由度（6DoF）传感器姿态以及从触觉视频帧中重建的表面几何信息。该数据集的发布为触觉感知与机器人操作领域的研究提供了重要的实验基础，特别是在物体姿态跟踪与表面重建方面，推动了相关算法的开发与优化。

当前挑战

TactileTracking数据集在构建与应用过程中面临多重挑战。首先，触觉数据的采集与处理需要高精度的传感器和复杂的实验设备，以确保数据的准确性与一致性。其次，触觉视频帧中的物体姿态跟踪要求算法能够实时处理高维数据，并在复杂接触条件下保持鲁棒性。此外，数据集的构建过程中还需避免传感器凝胶的损坏，限制了物体的平移运动范围，增加了数据采集的难度。这些挑战不仅考验了数据采集与处理的技术水平，也对后续算法的开发提出了更高的要求。

常用场景

经典使用场景

TactileTracking数据集在触觉感知与物体跟踪领域具有重要应用，尤其在机器人操作和触觉传感器研究中表现突出。该数据集通过提供12个不同物体的触觉视频、6DoF传感器姿态数据以及预处理表面几何信息，为研究人员提供了一个全面的基准测试平台。经典使用场景包括触觉传感器的性能评估、物体姿态跟踪算法的开发与优化，以及触觉图像处理技术的验证。

衍生相关工作

TactileTracking数据集衍生了一系列经典研究工作，其中最著名的是NormalFlow算法。该算法基于触觉传感器数据，实现了快速、鲁棒且精确的物体6DoF姿态跟踪，为触觉感知与物体跟踪领域提供了新的解决方案。此外，该数据集还推动了触觉图像处理、表面重建以及机器人操作感知等领域的相关研究，为触觉感知技术的进一步发展奠定了基础。

数据集最近研究

最新研究方向

在触觉感知与机器人操作领域，TactileTracking数据集的推出为基于触觉的物体6DoF姿态跟踪研究提供了重要的实验基础。该数据集通过GelSight Mini传感器采集了12种不同物体的触觉视频、6DoF传感器姿态数据以及表面几何信息，为开发实时、鲁棒且精确的触觉跟踪算法提供了丰富的数据支持。近年来，随着机器人抓取与操作任务的复杂化，触觉感知技术在物体姿态估计与表面重建中的应用日益受到关注。TactileTracking数据集的出现，不仅推动了NormalFlow等先进算法的验证与优化，还为触觉传感器在工业自动化、医疗机器人等领域的实际应用提供了理论依据。该数据集的研究方向主要集中在触觉图像处理、6DoF姿态跟踪算法优化以及触觉与视觉融合感知等方面，为未来触觉感知技术的进一步发展奠定了坚实的基础。