Flat’n’Fold

Flat’n’Fold数据集由格拉斯哥大学计算科学学院创建，是一个用于服装感知和操作的多模态大型数据集。该数据集包含1,212个人类演示和887个机器人演示，涵盖44种独特服装，跨越8个类别。数据集记录了从皱褶到折叠的整个操作过程，提供同步的多视角RGB-D图像、点云和动作数据。创建过程中，20名参与者进行了服装的平整和折叠任务，机器人则由专家操作员控制执行类似任务。该数据集旨在推动机器人对可变形物体的感知和操作研究，特别是在抓取点预测和子任务分解方面。

The Flat’n’Fold dataset, created by the School of Computing Science at the University of Glasgow, is a large-scale multimodal dataset for garment perception and manipulation. It contains 1,212 human demonstrations and 887 robotic demonstrations, covering 44 unique garment types across 8 categories. The dataset records the entire manipulation process from wrinkling to folding, providing synchronized multi-view RGB-D images, point clouds, and motion data. During its creation, 20 participants performed garment flattening and folding tasks, while robots executed similar tasks under the control of expert operators. This dataset aims to advance research on robotic perception and manipulation of deformable objects, particularly in grasp point prediction and subtask decomposition.

搜集汇总

数据集介绍

构建方式

Flat’n’Fold数据集通过精心设计的实验，收集了1,212个人类演示和887个机器人演示，涵盖了44种独特服装的8个类别。数据集的构建采用了多视角RGB-D图像、点云以及动作数据的同步记录，确保了从服装的皱褶状态到折叠状态的整个过程被详尽捕捉。实验中，20名人类参与者在配备有ZED2i摄像头的环境中进行演示，同时使用HTC Vive Tracker进行动作跟踪。机器人演示则由熟练的操作员通过直接遥控和虚拟现实遥控两种方式进行，确保了数据的高质量和多样性。

特点

Flat’n’Fold数据集的显著特点在于其大规模、多模态和高多样性。数据集不仅包含了丰富的视觉信息，如多视角RGB-D图像和点云，还详细记录了动作数据，包括手部或夹持器的位置和旋转信息。此外，数据集通过对比现有基准，展示了其在复杂性和多样性方面的优越性，特别是在动作和视觉信息的多样性上，显著超越了现有数据集。

使用方法

Flat’n’Fold数据集适用于多种机器人感知和操作任务的研究，特别是对于服装的抓取点和子任务分解的研究。研究者可以通过数据集中的多视角RGB-D图像和点云数据，结合动作数据，训练和验证抓取点预测模型。此外，数据集还支持子任务分解的研究，通过分析和学习人类和机器人的操作序列，提升机器人对复杂任务的理解和执行能力。数据集的多样性和详细标注为模仿学习和策略优化提供了宝贵的资源。

背景与挑战

背景概述

Flat’n’Fold数据集由格拉斯哥大学计算科学学院的Lipeng Zhuang等人于2024年创建，旨在解决现有服装操作数据集在规模、多样性和动作标注方面的不足。该数据集包含1,212个人类演示和887个机器人演示，涵盖44种不同类别的服装，跨越8个类别。Flat’n’Fold通过捕捉从皱褶到折叠的整个操作过程，提供了同步的多视角RGB-D图像、点云和动作数据，包括手或夹持器的位置和旋转信息。这一数据集的推出，显著推动了机器人对可变形物体感知和操作的研究进展。

当前挑战

Flat’n’Fold数据集面临的挑战主要集中在两个方面：一是解决服装操作领域中复杂动作序列和多样化操作策略的捕捉问题，这要求数据集具备高度的多样性和复杂性；二是构建过程中遇到的硬件和数据同步难题，如多视角摄像机的校准和动作数据的精确同步。此外，该数据集在抓取点预测和子任务分解等任务上的现有模型表现仍有显著提升空间，这表明在机器人感知和操作可变形物体方面，仍需进一步的研究和创新。

常用场景

经典使用场景

Flat’n’Fold数据集在机器人感知和操作领域中被广泛用于研究服装的展开和折叠过程。该数据集通过捕捉从皱褶到折叠的完整过程，提供了同步的多视角RGB-D图像、点云数据以及动作数据，包括手或夹持器的位置和旋转信息。这些丰富的数据使得研究人员能够开发和验证复杂的机器人感知模型和操作策略，特别是在处理可变形物体方面。

解决学术问题

Flat’n’Fold数据集解决了现有数据集在服装操作研究中的关键缺陷，如数据规模小、多样性不足以及缺乏动作注释等问题。通过提供大规模、多样化的数据，该数据集显著推动了机器人对可变形物体的感知和操作能力的研究。其丰富的多模态数据为开发更精确的抓取点预测和子任务分解模型提供了坚实的基础，从而促进了机器人技术在实际应用中的进步。

衍生相关工作

Flat’n’Fold数据集的发布激发了一系列相关研究工作，特别是在机器人抓取点预测和子任务分解领域。例如，基于该数据集，研究人员开发了新的基准测试，用于评估现有模型在抓取点预测任务中的性能，并提出了改进的算法。此外，该数据集还促进了模仿学习和策略优化方面的研究，使得机器人能够通过观察人类演示来学习复杂的操作任务，从而推动了机器人技术的进一步发展。