YCB-Slide|触觉感知数据集|机器人技术数据集

YCB-Slide 数据集由 Carnegie Mellon University 和 Meta AI 联合创建，旨在为触觉感知研究提供滑动交互的基准数据。该数据集包含 DIGIT 触觉传感器与 10 种标准 YCB 物体之间的滑动交互数据，涵盖真实世界和模拟环境下的力交互序列。数据集包含 50 条轨迹，每条轨迹时长 60 秒，采样频率为 30Hz，提供触觉图像、传感器姿态、物体网格模型以及真实高度图和接触掩码（仅限模拟）。数据集通过 TACTO 模拟器生成模拟交互，并利用 OptiTrack 系统记录真实世界中的传感器姿态。数据集的创建过程结合了模拟和真实世界的实验，旨在解决机器人触觉定位、物体理解以及动态模型学习等问题。通过滑动交互，该数据集能够为触觉感知系统提供丰富的局部几何信息，助力机器人在复杂环境中实现精准的触觉定位和物体操作。

原始信息汇总

YCB-Slide 数据集概述

数据集简介

• 名称：YCB-Slide
• 简介：YCB-Slide 是一个关于触觉交互的数据集，包含 DIGIT 滑动交互在 YCB 对象上的数据。数据集提供了 DIGIT 图像、传感器姿态、RGB 视频馈送、地面真实网格模型以及地面真实高度图和接触掩码（仅限模拟）。

数据集构成

• YCB 对象：选择了 10 种具有不同几何形状的 YCB 对象进行测试。
• 模拟数据：使用 TACTO 模拟滑动物理交互，生成固定长度的路径，并添加高斯噪声。
• 真实世界数据：通过手持 DIGIT 进行滑动实验，使用 OptiTrack 系统进行时间同步的传感器姿态记录。

数据目录格式

• 模拟：包含接触掩码、深度图、RGB DIGIT 图像等文件夹。
• 真实世界：包含 DIGIT 图像、Webcam 图像、姿态信息、视频文件等文件夹。

数据获取

• 下载脚本：通过 download_dataset.sh 脚本下载，需要先运行 pip install gdown。
• 单独对象数据：可以直接下载特定对象的数据。

许可

• 许可证：MIT License

引用

• 论文引用：在使用 YCB-Slide 数据集的研究中，请引用相关论文。

YCB-Slide 数据集概述

数据集简介

• 名称：YCB-Slide
• 简介：YCB-Slide 是一个关于触觉交互的数据集，包含 DIGIT 滑动交互在 YCB 对象上的数据。数据集提供了 DIGIT 图像、传感器姿态、RGB 视频馈送、地面真实网格模型以及地面真实高度图和接触掩码（仅限模拟）。

数据集构成

• YCB 对象：选择了 10 种具有不同几何形状的 YCB 对象进行测试。
• 模拟数据：使用 TACTO 模拟滑动物理交互，生成固定长度的路径，并添加高斯噪声。
• 真实世界数据：通过手持 DIGIT 进行滑动实验，使用 OptiTrack 系统进行时间同步的传感器姿态记录。

数据目录格式

• 模拟：包含接触掩码、深度图、RGB DIGIT 图像等文件夹。
• 真实世界：包含 DIGIT 图像、Webcam 图像、姿态信息、视频文件等文件夹。

数据获取

• 下载脚本：通过 download_dataset.sh 脚本下载，需要先运行 pip install gdown。
• 单独对象数据：可以直接下载特定对象的数据。

许可

• 许可证：MIT License

引用

• 论文引用：在使用 YCB-Slide 数据集的研究中，请引用相关论文。

AI搜集汇总

数据集介绍

构建方式

YCB-Slide数据集的构建主要涉及两部分：真实世界交互与模拟交互。真实世界交互通过手持操作DIGIT对YCB对象进行滑动实验，并使用OptiTrack系统同步记录传感器姿态；模拟交互则使用TACTO模拟器，在对象表面生成滑动轨迹，并引入噪声以模拟真实环境中的不确定性。

特点

该数据集的特点在于其综合了真实世界与模拟的滑动交互数据，提供了包括DIGIT图像、传感器姿态、RGB视频、地面真实网格模型以及地面真实高度图和接触掩码等丰富的信息。这些数据不仅有助于触觉定位、映射、对象理解，还能用于学习动态模型。

使用方法

使用YCB-Slide数据集前，需通过提供的脚本下载并解压数据。可通过可视化脚本查看轨迹和触觉数据。用户还可以利用提供的脚本记录自己的数据，并通过timesync和align脚本对数据进行同步和校准。数据集的目录格式清晰，便于访问不同的数据类型。

背景与挑战

背景概述

YCB-Slide数据集，创建于近期，由Suresh等人发起，旨在推动触觉定位、映射、物体理解和学习动力学模型等领域的研究。该数据集基于DIGIT滑移交互，涉及YCB对象，是MidasTouch论文的补充材料，后者是2022年机器人学习会议（CoRL）的提交论文。YCB-Slide数据集提供了丰富的数据，包括DIGIT图像、传感器姿态、RGB视频流、地面真实网格模型以及地面真实高度图和接触掩码（仅限模拟）。

当前挑战

YCB-Slide数据集在构建过程中面临的挑战包括：1) 如何精确地模拟和记录真实世界的滑移交互；2) 在保证数据质量的同时，处理和同步来自不同传感器的数据；3) 数据集的多样性和广泛性，以确保能够涵盖不同几何形状的物体。在所解决的领域问题方面，该数据集面临的挑战包括：如何利用触觉信息进行有效的物体识别和动态建模，以及在存在噪声和不完美同步的情况下，如何提高算法的鲁棒性和准确性。

常用场景

经典使用场景

YCB-Slide数据集广泛用于触觉定位、映射、物体理解以及学习动态模型等研究领域。其经典使用场景在于，研究人员可以通过分析 DIGIT 传感器在 YCB 物体上的滑动交互数据，进而优化触觉传感器的定位算法和物体表面建模技术。

解决学术问题

该数据集解决了触觉交互中的关键学术问题，如如何精确地定位触觉传感器与物体表面的接触位置，以及如何从滑动交互中学习物体的动态特性。其提供的真实和模拟数据帮助研究者验证和改进他们的算法，对机器人学习和人机交互领域具有重要的意义和影响。

衍生相关工作

基于YCB-Slide数据集，衍生出了一系列相关工作，如'MidasTouch: Monte-Carlo inference over distributions across sliding touch'，这些工作进一步拓展了触觉交互的研究边界，推动了触觉感知技术的进步。