Shape2.5D

Shape2.5D数据集由德国人工智能研究中心开发，专注于无纹理表面的深度和法线估计。该数据集包含2635个3D模型，总计48个独特对象，涵盖动物、服装、家具等多个类别。数据集通过3D建模软件生成合成图像，模拟不同光照和视角条件，同时包含使用深度相机捕获的真实世界数据。Shape2.5D旨在支持开发从RGB图像中稳健估计深度和法线的算法，适用于3D重建和计算机视觉研究。The Shape2.5D dataset was developed by the German Research Center for Artificial Intelligence, focusing on depth and normal estimation for texture-less surfaces. This dataset contains 2,635 3D models, totaling 48 unique objects spanning multiple categories such as animals, clothing, furniture and others. Synthetic images are generated via 3D modeling software to simulate diverse lighting and viewpoint conditions, while real-world data captured using depth cameras are also included in the dataset. Shape2.5D is designed to support the development of algorithms for robust depth and normal estimation from RGB images, and is applicable to 3D reconstruction and computer vision research.

原始信息汇总

Shape2.5D: 无纹理表面深度和法线估计数据集

概述

• 数据集名称: Shape2.5D
• 目的: 用于无纹理表面的深度和法线估计
• 数据组成:
  • 302k 合成帧，涵盖 35 个 3D 模型
  • 62k 合成帧，涵盖 2600 个 3D 模型，涉及 13 种常见 ShapeNet 对象
  • 4672 真实世界帧，涵盖 6 种衣物和家用物品
• 下载链接: Shape2.5D 数据集

数据集详情

• 数据集规模: 总共 364k 帧，涵盖 2635 个 3D 模型和 48 种独特对象
• 数据类型: 包含深度和表面法线图
• 数据来源:
  • 合成图像：使用 3D 建模软件渲染，模拟不同光照条件和视角
  • 真实世界图像：使用深度相机捕捉
• 数据生成:
  • 使用 Blender 和 Python 的生成管道
  • 支持扩展和适应未来研究

数据集使用

• 数据加载: 提供 PyTorch 数据加载器 dataloader.py
• 数据可视化: 提供可视化脚本 visualize.py

引用

如果使用该数据集或代码，请引用以下论文： bibtex @article{khan2024shape25d, title={Shape2.5D: A Dataset of Texture-less Surfaces for Depth and Normals Estimation}, author={Khan, Muhammad Saif Ullah and Afzal, Muhammad Zeshan and Stricker, Didier}, journal={arXiv preprint arXiv:2406.14370}, year={2024} }

搜集汇总

数据集介绍

构建方式

Shape2.5D 数据集的构建采用了两种主要方法：合成数据渲染和真实世界数据的收集。合成数据是通过 3D 建模软件 Blender 渲染 2635 个 3D 模型生成的，这些模型涵盖了 48 个独特的物体，包括来自 ShapeNet 的 13 个物体和来自动物、服装、家具、雕像、车辆等类别的 35 个其他常见物体。渲染过程考虑了不同的光照条件和视角，以模拟真实世界的场景。此外，数据集还包括一个真实世界子集，该子集包含使用深度相机捕获的 4672 个帧。

特点

Shape2.5D 数据集的特点在于其规模和多样性。它提供了 364k 个帧，跨越 2635 个 3D 模型和 48 个独特的物体，并提供了深度和表面法线图，用于无纹理物体的重建。数据集包括合成图像和真实世界图像，这使得它能够支持算法的开发，这些算法能够从 RGB 图像中鲁棒地估计深度和法线。此外，数据集的开放源代码数据生成管道允许研究人员扩展和适应数据集，以适应未来的研究。

使用方法

Shape2.5D 数据集的使用方法包括以下步骤：首先，研究人员需要下载数据集并解压缩。然后，他们可以使用数据集中的图像、深度图和表面法线图来训练和测试深度和法线估计算法。数据集已经按照类别和训练、验证、测试子集进行了划分，以便研究人员可以方便地进行跨类别和类别内评估。此外，数据集中的真实世界子集可以用于评估算法在实际场景中的性能。

背景与挑战

背景概述

在计算机视觉领域，纹理表面的三维重建已经取得了显著的进展，然而对于缺乏纹理信息的表面，由于缺乏专门的数据集，深度和法线估计面临着独特的挑战。为了填补这一空白，研究人员Muhammad Saif Ullah Khan、Muhammad Zeshan Afzal和Didier Stricker于2024年6月创建了名为“Shape2.5D”的数据集。该数据集包括2635个3D模型的364k帧图像，涵盖了48种独特的物体，如动物、衣物、家具、雕像、车辆等。Shape2.5D数据集提供了深度图和表面法线图，用于纹理表面重建。数据集的合成图像是在3D建模软件中渲染的，以模拟不同的光照条件和视角。此外，还包括一个真实世界子集，包含4672帧由深度相机捕获的图像。该数据集的创建对纹理表面重建领域产生了重要影响，为开发能够从RGB图像中鲁棒估计深度和法线的算法提供了支持。

当前挑战

Shape2.5D数据集面临的挑战包括：1)解决领域问题：在缺乏纹理信息的情况下，从图像中预测物体的几何形状变得更加困难。由于缺乏视觉线索，这些表面在深度学习中受到了较少的关注。2)构建过程中的挑战：虽然Shape2.5D数据集包含了大量的3D模型和图像，但仍然需要进一步扩展以涵盖更多种类的物体和场景。此外，在真实世界数据收集过程中，可能存在光照、遮挡和噪声等实际问题，这些都需要在数据集中进行适当的处理和模拟。

常用场景

经典使用场景

Shape2.5D数据集主要应用于深度估计和表面法线估计，特别是在无纹理表面重建方面。该数据集提供了大量无纹理物体的深度图和表面法线图，对于开发能够从RGB图像中鲁棒地估计深度和法线的算法具有重要意义。数据集包括合成图像和真实世界图像，涵盖了各种照明条件和视角，为研究提供了丰富的数据支持。

实际应用

Shape2.5D数据集在实际应用中具有广泛的前景。例如，在工业领域，可以使用该数据集训练算法，以从无纹理的工业组件图像中估计深度和法线，从而实现自动化的质量检测和缺陷识别。在室内场景中，可以利用该数据集开发算法，以从无纹理的平面表面图像中估计深度和法线，从而实现更准确的3D重建。在医学成像中，可以使用该数据集训练算法，以从无纹理的生物组织图像中估计深度和法线，从而实现更准确的3D重建和诊断。

衍生相关工作

Shape2.5D数据集的引入激发了相关领域的研究，衍生出一系列经典工作。例如，一些研究使用该数据集训练深度估计和法线估计算法，并在多个基准测试中取得了优异的性能。此外，一些研究利用该数据集开发新的无纹理表面重建方法，如基于深度学习和生成对抗网络的方法，这些方法在无纹理表面重建方面取得了显著的进展。