DOFS

DOFS数据集由香港中文大学机械与自动化工程系创建，是一个包含3D可变形物体（如弹塑性物体）的实验数据集，提供了完整的空间信息（顶部、侧面和底部信息）。数据集包含主动操作动作、多视角RGB-D图像、良好配准的点云、3D变形网格和3D占用信息。数据集通过一个低成本且创新的数据收集平台生成，该平台使用透明操作平面和6个RGB-D相机进行多视角数据采集。DOFS数据集主要用于机器人对3D可变形物体的动力学模型学习，旨在解决现实世界中机器人操作可变形物体的挑战。The DOFS dataset was created by the Department of Mechanical and Automation Engineering of The Chinese University of Hong Kong. It is an experimental dataset containing 3D deformable objects such as elasto-plastic objects, providing complete spatial information including top, side and bottom spatial details. The dataset includes active manipulation actions, multi-view RGB-D images, well-registered point clouds, 3D deformation meshes and 3D occupancy information. It is generated via a low-cost and innovative data collection platform, which adopts a transparent operating plane and six RGB-D cameras for multi-view data acquisition. The DOFS dataset is mainly used for robotic learning of dynamic models of 3D deformable objects, aiming to address the challenges in real-world robotic manipulation of deformable objects.

搜集汇总

数据集介绍

构建方式

DOFS数据集的构建基于一个创新且低成本的数据收集平台，该平台配备了一个透明的操作平面和6个RGB-D摄像头。这些摄像头分别安装在操作平面的顶部和底部，以捕捉三维可变形物体（如弹塑性物体）的全方位空间信息。数据收集过程中，机器人手臂执行操作动作，同时记录多视角的RGB-D图像、精确配准的点云数据、三维变形网格以及三维占据信息。通过使用ROS系统同步记录机器人动作和摄像头数据，并利用迭代最近点（ICP）算法进行点云配准，最终生成包含完整空间信息的数据集。

特点

DOFS数据集的显著特点在于其全面的空间信息捕捉能力，包括顶部、侧面和底部的完整视角，这使得数据集能够准确反映物体在实际操作中的动态变化。此外，数据集提供了高分辨率的3D占据数据和语义丰富的表示，这对于动态模型的学习尤为重要。数据集还包含了多视角的RGB-D图像和精确配准的点云，这些数据为研究者提供了丰富的视觉和几何信息，有助于深入理解物体变形机制。

使用方法

DOFS数据集适用于多种机器人操作和动态模型学习的研究场景。研究者可以利用数据集中的多视角RGB-D图像和点云数据进行物体变形分析和三维重建。此外，数据集中的3D占据数据和语义信息可以用于训练神经网络模型，以预测和模拟物体的动态行为。通过将数据集中的动作数据与三维占据数据结合，研究者可以开发和验证新的机器人操作策略和算法，从而推动三维可变形物体操作技术的发展。

背景与挑战

背景概述

在机器人操作领域，处理三维可变形物体（如弹性塑料物体）的能力对于家庭和医疗保健等实际应用至关重要。尽管已有广泛研究，这一领域仍面临诸多挑战。DOFS数据集由香港中文大学机械与自动化工程系的Zhen Zhang、Xiangyu Chu、Yunxi Tang和K. W. Samuel Au等人创建，旨在通过提供包含完整空间信息的3D可变形物体数据，推动基于数据驱动的动态模型学习。该数据集通过一个创新且低成本的数据收集平台，捕捉了多视角RGB-D图像、精确配准的点云、变形网格和3D占据信息，为研究者提供了丰富的数据资源，以改进机器人对可变形物体的操作能力。

当前挑战

DOFS数据集在构建过程中面临多项挑战。首先，现有模拟器无法完全模拟真实世界的物理特性，如摩擦、冲击和刚度，导致模拟数据与实际操作之间存在差距。其次，先前的研究在数据收集时未能充分考虑物体底部的信息，这可能导致动态行为的显著差异。此外，构建包含完整空间信息的数据集需要复杂的硬件设置和数据处理流程，如使用6个RGB-D相机和迭代最近点（ICP）算法进行点云配准，这些都增加了数据收集的难度和成本。最后，如何确保数据集的多样性和广泛适用性，以应对不同物理属性和几何形状的可变形物体，也是一项重要挑战。

常用场景

经典使用场景

DOFS数据集在机器人学领域中被广泛用于3D可变形物体的动力学模型学习。其经典使用场景包括通过多视角RGB-D图像和精确注册的点云数据，重建3D变形网格，从而实现对可变形物体（如弹性塑料物体）的精确操作和动态预测。这种全空间信息的捕捉使得模型能够更准确地理解和预测物体在不同操作下的变形行为，为机器人执行复杂任务提供了坚实的基础。

衍生相关工作

基于DOFS数据集，研究者们开发了多种相关的经典工作，包括改进的动态模型预测算法、增强的点云注册技术以及更高效的3D网格重建方法。这些工作不仅提升了机器人对可变形物体的操作能力，还推动了数据驱动方法在机器人学中的应用。此外，DOFS数据集的开放性也促进了跨学科的合作，激发了更多创新研究。

数据集最近研究

最新研究方向

在机器人操作领域，DOFS数据集的最新研究方向聚焦于通过低成本且高效的数据收集平台，获取具有完整空间信息的3D变形物体数据。这一方向不仅解决了现有数据集在底部信息缺失的问题，还通过多视角RGB-D图像和点云的精确配准，提供了高分辨率的3D占用数据和语义信息。此外，研究者们正在利用这些数据训练神经网络，以建模和预测弹性塑料物体的动态行为，从而推动机器人对变形物体的精细操作能力。这一研究不仅在家庭和医疗应用中具有广泛潜力，也为机器人学习提供了宝贵的真实世界数据，有助于缩小模拟与现实之间的差距。

相关研究论文

• DOFS: A Real-world 3D Deformable Object Dataset with Full Spatial Information for Dynamics Model Learning

  香港中文大学机械与自动化工程系 · 2024年