PokeFlex

PokeFlex数据集由苏黎世联邦理工学院的计算机器人实验室创建，包含18个可变形物体的真实世界多模态数据，包括3D纹理网格、点云、RGB图像和深度图。数据集大小为20k条，通过专业的体积捕捉系统进行360°重建，变形通过机器人臂戳击和物体自由落体生成。该数据集旨在解决可变形物体在机器人操作中的挑战，支持在线3D网格重建和传统控制方法的实际部署。

The PokeFlex Dataset was created by the Computer Robotics Laboratory at ETH Zurich. It contains real-world multimodal data for 18 deformable objects, including 3D textured meshes, point clouds, RGB images, and depth maps. The dataset comprises 20,000 samples, which are reconstructed via a professional volumetric capture system for 360° coverage. Deformations of the objects are generated through robotic arm poking and free fall. This dataset aims to address the challenges of deformable object manipulation in robotic applications, and supports practical deployment of online 3D mesh reconstruction and traditional control methods.

搜集汇总

数据集介绍

构建方式

PokeFlex数据集的构建基于一个专业的体积捕捉系统，该系统配备了106个摄像头（包括RGB和红外摄像头），能够实现对可变形物体的360度全方位捕捉。通过使用Husky双臂机器人对五个不同硬度和形状的可变形物体进行简单的戳刺策略，系统记录了物体的变形过程以及机器人施加的力和扭矩。每帧数据包括变形的3D网格模型、模板网格模型、施加的3D力和3D扭矩、末端执行器姿态以及捕捉系统的摄像机记录。此外，通过垂直和水平平面以及基于帧的网格剪切技术，去除了机器人系统的大部分干扰，确保了数据的高质量。

使用方法

PokeFlex数据集可用于多种研究目的，包括但不限于训练视觉模型进行在线3D网格重建、学习操纵策略、估计材料参数等。研究者可以利用数据集中的3D网格模型和施加的力和扭矩信息，开发和验证新的算法和模型。例如，可以使用数据集训练一个Real-NVP模型，该模型能够从单张图像和模板网格中在线预测新的顶点位置。此外，数据集还可用于研究如何减少从合成数据到真实数据之间的差距，以及如何提高在线推理的效率和准确性。通过这些应用，PokeFlex数据集有望推动可变形物体机器人操纵领域的研究进展。

背景与挑战

背景概述

在机器人操作领域，处理可变形物体是一个具有挑战性的开放问题，这些物体广泛存在于工业和家庭环境中。由于其形状、尺寸和复杂材料属性的多变性，传统的机器人操作方法难以应对。近年来，数据驱动的方法在可变形物体操作领域取得了显著进展，但现有研究中可变形物体的数据集仍然匮乏。PokeFlex数据集由ETH Zurich的计算机器人实验室和软机器人实验室联合开发，旨在填补这一空白。该数据集包含五个具有不同硬度和形状的可变形物体，通过专业的体积捕捉系统记录了物体在机器人臂施加简单戳击策略下的3D网格数据及其相应的力和扭矩信息。PokeFlex数据集的创建不仅为学习操作策略、估计材料参数和训练3D网格重建模型提供了宝贵的资源，还为传统基于网格模拟的控制方法在现实世界中的部署提供了支持。

当前挑战

PokeFlex数据集在构建过程中面临多项挑战。首先，捕捉可变形物体的真实世界行为需要高精度的体积捕捉系统，以确保360度无死角的3D重建。其次，数据集的构建涉及复杂的力学和材料科学问题，需要精确记录和分析物体在受力下的变形情况。此外，数据集的扩展性和多样性也是一个重要挑战，未来的工作计划包括引入更多变形策略和3D打印的可变形物体，以增强数据集的广泛适用性和可重复性。最后，数据集的质量验证和在线推理模型的开发也是一项技术挑战，需要克服点云数据噪声和稀疏性带来的仿真与现实之间的差距。

常用场景

经典使用场景

PokeFlex数据集在机器人操作可变形物体领域中具有经典应用场景。该数据集通过记录机器人对五种不同硬度和形状的可变形物体（如毛绒章鱼、卫生纸卷、软枕头、泡沫骰子和硬枕头）进行戳击操作时产生的3D网格变形数据，以及相应的力和扭矩信息，为研究者提供了一个真实世界的实验平台。这些数据不仅支持3D网格重建模型的训练，还为在线3D网格重建提供了基础，使得机器人能够在实际操作中实时预测和调整物体的变形。

解决学术问题

PokeFlex数据集解决了机器人操作可变形物体领域中的多个关键学术问题。首先，它填补了现有研究中缺乏真实世界可变形物体数据集的空白，为数据驱动的方法提供了必要的训练数据。其次，通过捕捉物体在受力下的真实变形，该数据集有助于改进材料参数估计和变形预测模型，从而提升机器人对可变形物体的操作精度。此外，PokeFlex数据集还为开发新的控制策略和算法提供了实验基础，推动了该领域的技术进步。

实际应用

PokeFlex数据集在实际应用中展现出广泛的前景。在工业自动化领域，该数据集可以用于训练机器人处理纺织品、食品加工和医疗设备等可变形物体的操作任务，提高生产效率和产品质量。在家庭服务机器人领域，PokeFlex数据集支持机器人学习和掌握更复杂的操作技能，如整理衣物、处理软性家居用品等。此外，该数据集还可应用于虚拟现实和增强现实技术中，提升用户与虚拟环境中可变形物体的交互体验。

数据集最近研究

最新研究方向

在机器人操作可变形物体的领域中，PokeFlex数据集的最新研究方向主要集中在利用该数据集进行实时3D网格重建和变形预测。通过结合专业的体积捕捉系统和机器人手臂施加的力与扭矩数据，研究人员能够生成高度详细的3D表面网格，并开发出能够从单一图像和模板网格中在线预测新顶点位置的模型。这一研究不仅填补了现有数据集在可变形物体操作领域的空白，还为实现基于网格模拟的传统控制方法在现实世界中的部署提供了可能。此外，该数据集的扩展计划包括引入3D打印的可变形物体和多种操作策略，如捏、双臂挤压、提升、摇晃和投掷，以进一步推动该领域的研究进展。

相关研究论文

• PokeFlex: Towards a Real-World Dataset of Deformable Objects for Robotic Manipulation

  苏黎世联邦理工学院 · 2024年