YCB-Slide

YCB-Slide 数据集由 Carnegie Mellon University 和 Meta AI 联合创建，旨在为触觉感知研究提供滑动交互的基准数据。该数据集包含 DIGIT 触觉传感器与 10 种标准 YCB 物体之间的滑动交互数据，涵盖真实世界和模拟环境下的力交互序列。数据集包含 50 条轨迹，每条轨迹时长 60 秒，采样频率为 30Hz，提供触觉图像、传感器姿态、物体网格模型以及真实高度图和接触掩码（仅限模拟）。数据集通过 TACTO 模拟器生成模拟交互，并利用 OptiTrack 系统记录真实世界中的传感器姿态。数据集的创建过程结合了模拟和真实世界的实验，旨在解决机器人触觉定位、物体理解以及动态模型学习等问题。通过滑动交互，该数据集能够为触觉感知系统提供丰富的局部几何信息，助力机器人在复杂环境中实现精准的触觉定位和物体操作。

The YCB-Slide Dataset was co-developed by Carnegie Mellon University and Meta AI, with the goal of providing benchmark data for sliding interaction research in the field of tactile perception. This dataset contains sliding interaction data between DIGIT tactile sensors and 10 standard YCB objects, covering force interaction sequences in both real-world and simulated environments. It consists of 50 trajectories, each lasting 60 seconds with a sampling frequency of 30Hz, and provides tactile images, sensor poses, object mesh models, as well as ground-truth height maps and contact masks (only available in the simulated setup). The simulated interactions were generated using the TACTO simulator, while the sensor poses in real-world experiments were recorded via the OptiTrack system. The creation of this dataset combines both simulated and real-world experiments, aiming to tackle challenges including robotic tactile localization, object understanding, and dynamic model learning. Through sliding interactions, this dataset can offer abundant local geometric information for tactile perception systems, enabling robots to achieve accurate tactile localization and object manipulation in complex environments.

原始信息汇总

YCB-Slide 数据集概述

数据集简介

• 名称：YCB-Slide
• 简介：YCB-Slide 是一个关于触觉交互的数据集，包含 DIGIT 滑动交互在 YCB 对象上的数据。数据集提供了 DIGIT 图像、传感器姿态、RGB 视频馈送、地面真实网格模型以及地面真实高度图和接触掩码（仅限模拟）。

数据集构成

• YCB 对象：选择了 10 种具有不同几何形状的 YCB 对象进行测试。
• 模拟数据：使用 TACTO 模拟滑动物理交互，生成固定长度的路径，并添加高斯噪声。
• 真实世界数据：通过手持 DIGIT 进行滑动实验，使用 OptiTrack 系统进行时间同步的传感器姿态记录。

数据目录格式

• 模拟：包含接触掩码、深度图、RGB DIGIT 图像等文件夹。
• 真实世界：包含 DIGIT 图像、Webcam 图像、姿态信息、视频文件等文件夹。

数据获取

• 下载脚本：通过 download_dataset.sh 脚本下载，需要先运行 pip install gdown。
• 单独对象数据：可以直接下载特定对象的数据。

许可

• 许可证：MIT License

引用

• 论文引用：在使用 YCB-Slide 数据集的研究中，请引用相关论文。

YCB-Slide 数据集概述

数据集简介

• 名称：YCB-Slide
• 简介：YCB-Slide 是一个关于触觉交互的数据集，包含 DIGIT 滑动交互在 YCB 对象上的数据。数据集提供了 DIGIT 图像、传感器姿态、RGB 视频馈送、地面真实网格模型以及地面真实高度图和接触掩码（仅限模拟）。

数据集构成

• YCB 对象：选择了 10 种具有不同几何形状的 YCB 对象进行测试。
• 模拟数据：使用 TACTO 模拟滑动物理交互，生成固定长度的路径，并添加高斯噪声。
• 真实世界数据：通过手持 DIGIT 进行滑动实验，使用 OptiTrack 系统进行时间同步的传感器姿态记录。

数据目录格式

• 模拟：包含接触掩码、深度图、RGB DIGIT 图像等文件夹。
• 真实世界：包含 DIGIT 图像、Webcam 图像、姿态信息、视频文件等文件夹。

数据获取

• 下载脚本：通过 download_dataset.sh 脚本下载，需要先运行 pip install gdown。
• 单独对象数据：可以直接下载特定对象的数据。

许可

• 许可证：MIT License

引用

• 论文引用：在使用 YCB-Slide 数据集的研究中，请引用相关论文。

搜集汇总

数据集介绍

构建方式

YCB-Slide数据集的构建主要涉及两部分：真实世界交互与模拟交互。真实世界交互通过手持操作DIGIT对YCB对象进行滑动实验，并使用OptiTrack系统同步记录传感器姿态；模拟交互则使用TACTO模拟器，在对象表面生成滑动轨迹，并引入噪声以模拟真实环境中的不确定性。

特点

该数据集的特点在于其综合了真实世界与模拟的滑动交互数据，提供了包括DIGIT图像、传感器姿态、RGB视频、地面真实网格模型以及地面真实高度图和接触掩码等丰富的信息。这些数据不仅有助于触觉定位、映射、对象理解，还能用于学习动态模型。

使用方法

使用YCB-Slide数据集前，需通过提供的脚本下载并解压数据。可通过可视化脚本查看轨迹和触觉数据。用户还可以利用提供的脚本记录自己的数据，并通过timesync和align脚本对数据进行同步和校准。数据集的目录格式清晰，便于访问不同的数据类型。

背景与挑战

背景概述

YCB-Slide数据集，创建于近期，由Suresh等人发起，旨在推动触觉定位、映射、物体理解和学习动力学模型等领域的研究。该数据集基于DIGIT滑移交互，涉及YCB对象，是MidasTouch论文的补充材料，后者是2022年机器人学习会议（CoRL）的提交论文。YCB-Slide数据集提供了丰富的数据，包括DIGIT图像、传感器姿态、RGB视频流、地面真实网格模型以及地面真实高度图和接触掩码（仅限模拟）。

当前挑战

YCB-Slide数据集在构建过程中面临的挑战包括：1) 如何精确地模拟和记录真实世界的滑移交互；2) 在保证数据质量的同时，处理和同步来自不同传感器的数据；3) 数据集的多样性和广泛性，以确保能够涵盖不同几何形状的物体。在所解决的领域问题方面，该数据集面临的挑战包括：如何利用触觉信息进行有效的物体识别和动态建模，以及在存在噪声和不完美同步的情况下，如何提高算法的鲁棒性和准确性。

常用场景

经典使用场景

YCB-Slide数据集广泛用于触觉定位、映射、物体理解以及学习动态模型等研究领域。其经典使用场景在于，研究人员可以通过分析 DIGIT 传感器在 YCB 物体上的滑动交互数据，进而优化触觉传感器的定位算法和物体表面建模技术。

解决学术问题

该数据集解决了触觉交互中的关键学术问题，如如何精确地定位触觉传感器与物体表面的接触位置，以及如何从滑动交互中学习物体的动态特性。其提供的真实和模拟数据帮助研究者验证和改进他们的算法，对机器人学习和人机交互领域具有重要的意义和影响。

衍生相关工作

基于YCB-Slide数据集，衍生出了一系列相关工作，如'MidasTouch: Monte-Carlo inference over distributions across sliding touch'，这些工作进一步拓展了触觉交互的研究边界，推动了触觉感知技术的进步。