FlatnFold

FlatnFold 是一个多模态数据集，用于服装感知和操作。该数据集提供了1212个人类和887个机器人演示，涉及44种服装，涵盖8个类别。数据集包括RGBD图像、动作信息和点云数据，并建立了两个新的基准：抓取点预测和子任务分解。

FlatnFold is a multimodal dataset for clothing perception and manipulation. It provides 1212 human and 887 robotic demonstrations, involving 44 types of clothing across 8 categories. The dataset includes RGBD images, motion information and point cloud data, and establishes two novel benchmarks: grasp point prediction and subtask decomposition.

原始信息汇总

Flat’n’Fold: A Diverse Multi-Modal Dataset for Garment Perception and Manipulation

数据集概述

• 数据集名称: Flat’n’Fold
• 数据类型: 多模态数据集
• 应用领域: 服装感知与操作
• 数据量:
  • 1212个人类演示
  • 887个机器人演示
  • 44种不同服装，涵盖8个类别

数据内容

• 数据格式: RGBD图像、动作信息、点云数据
• 数据下载地址: https://gla-my.sharepoint.com/:f:/g/personal/2658047z_student_gla_ac_uk/Ekgx_o8q6ZZBtxusMwrP8zoBt2FkZL9vwq3hqe5c1CyHSQ
• 数据生成:
  • 点云数据可通过pcreate_gmatch.ipynb生成
  • 合并的点云数据和动作可视化可通过merge_three_camera.py和pointcloud_convert_match.py生成
• 动作信息:
  • 机器人演示的动作信息原点为Baxter基座
  • 人类演示的动作信息原点为头戴设备
  • 转换和旋转信息也提供在Pointcloud文件夹中

基准测试

抓取点预测基准

• 子数据集: 包含合并的点云数据及其对应的抓取点（位置和旋转）
• 数据处理代码: 提供抓取点提取、点云合并和下采样、抓取点位置和方向计算等代码
• 基线模型:
  • Pointnet++
  • Pointbert
  • 代码位于Grasping_point文件夹中，finetune_rand.py用于“随机分割”，finetune_class.py用于“按服装分割”

子任务分解基准

• 基线模型: Universal Visual Decomposer
• 代码: 提供数据处理、地面真值提取和评估指标的代码

引用

• 如果使用Flat’n’Fold数据集，请引用以下论文:

  @misc{zhuang2024flatnfolddiversemultimodaldataset, title={FlatnFold: A Diverse Multi-Modal Dataset for Garment Perception and Manipulation}, author={Lipeng Zhuang and Shiyu Fan and Yingdong Ru and Florent Audonnet and Paul Henderson and Gerardo Aragon-Camarasa}, year={2024}, eprint={2409.18297}, archivePrefix={arXiv}, primaryClass={cs.RO}, url={https://arxiv.org/abs/2409.18297} }

搜集汇总

数据集介绍

构建方式

FlatnFold数据集通过精心设计的多模态采集流程构建，涵盖了1212次人类演示和887次机器人演示，涉及44种不同类别的衣物。数据集包括RGBD图像和动作信息，并通过三个摄像头的点云数据生成工具进行补充。此外，数据集还提供了机器人和人类演示的动作信息原点转换参数，确保了数据的多维度一致性和完整性。

特点

FlatnFold数据集的显著特点在于其多模态性和多样性。不仅包含了丰富的视觉信息（如RGBD图像和点云数据），还整合了精确的动作信息，涵盖了从衣物展开到折叠的全过程。此外，数据集还提供了针对抓取点预测和子任务分解的新基准，为研究者提供了标准化的评估工具。

使用方法

使用FlatnFold数据集时，用户可以通过提供的下载链接获取数据，并利用包含的工具（如pcreate_gmatch.ipynb和merge_three_camera.py）生成和处理点云数据。数据集还提供了针对抓取点预测和子任务分解的基准代码，用户可以基于这些代码进行模型训练和评估。此外，数据集的硬件参数和转换矩阵也为精确的机器人操作模拟提供了支持。

背景与挑战

背景概述

FlatnFold数据集是由Lipeng Zhuang、Shiyu Fan等研究人员于2024年创建，旨在解决服装感知与操作领域的多模态数据需求。该数据集包含了1212次人类演示和887次机器人演示，涉及44种不同类别的服装，涵盖了8个主要类别。通过提供RGBD图像、点云数据以及动作信息，FlatnFold不仅为服装的抓取点预测和子任务分解建立了新的基准，还为机器人与人类在服装操作中的行为提供了详尽的记录。这一数据集的发布，极大地推动了服装感知与操作领域的研究进展，为未来的算法开发和实验验证提供了丰富的数据资源。

当前挑战

FlatnFold数据集在构建过程中面临了多重挑战。首先，数据的多模态特性要求在不同传感器数据之间进行精确的同步与融合，以确保数据的一致性和可用性。其次，服装的多样性和复杂性使得抓取点预测和子任务分解变得尤为困难，需要开发高效的算法来处理这些复杂任务。此外，数据集的规模和多样性也带来了存储和处理上的挑战，尤其是在处理大规模点云数据时，如何高效地进行数据压缩和存储是一个重要问题。最后，确保数据集在不同应用场景中的通用性和可扩展性，也是该数据集面临的一大挑战。

常用场景

经典使用场景

FlatnFold数据集在服装感知与操作领域展现了其经典应用场景。该数据集通过提供1212次人类和887次机器人演示，涵盖了44种不同类别的服装，为研究者提供了丰富的多模态数据。这些数据不仅包括RGBD图像和动作信息，还提供了通过三台摄像机生成的点云数据，以及抓取点和子任务分解的基准。这些数据为研究服装的抓取点预测和复杂任务的分解提供了坚实的基础。

解决学术问题

FlatnFold数据集解决了服装感知与操作领域中的多个关键学术问题。首先，它通过提供多模态数据，解决了服装抓取点预测的难题，这对于机器人自主操作服装至关重要。其次，数据集中的子任务分解基准为复杂任务的自动化分解提供了新的研究方向。这些问题的解决不仅推动了机器人技术的发展，也为服装处理领域的研究提供了新的视角和方法。

衍生相关工作

FlatnFold数据集的发布催生了多项相关经典工作。例如，基于该数据集的抓取点预测任务，研究者们开发了Pointnet++和Pointbert等深度学习模型，显著提升了抓取点的预测精度。同时，子任务分解基准的建立也促进了Universal Visual Decomposer等方法的发展，这些方法在复杂任务的分解和执行中表现出色。这些衍生工作不仅丰富了数据集的应用场景，也推动了相关领域的技术进步。