Open Annotations of Single Image Surfaces (OASIS)

OASIS是由密歇根大学和普林斯顿大学合作创建的大规模数据集，专注于单张图像的3D表面重建，包含140,000张来自互联网的随机采样图像。数据集通过人工标注提供了详细的3D几何信息，包括深度、表面法线等。创建过程中，开发了交互式3D标注界面，支持多种3D属性的标注。OASIS主要用于推动3D视觉研究，特别是在深度估计、表面法线估计、边界检测和实例分割等领域。

OASIS is a large-scale dataset co-created by the University of Michigan and Princeton University, focusing on 3D surface reconstruction from single images. It contains 140,000 randomly sampled images sourced from the public internet. The dataset provides detailed 3D geometric information via manual annotation, including depth maps, surface normals and other relevant metrics. During its development, an interactive 3D annotation interface was developed to support the annotation of multiple 3D attributes. OASIS is primarily intended to advance 3D vision research, particularly in tasks such as depth estimation, surface normal estimation, boundary detection and instance segmentation.

搜集汇总

数据集介绍

构建方式

OASIS数据集通过大规模的人工标注构建，涵盖了140,000张来自互联网的图像。为了生成详细的3D几何信息，研究团队设计了一个交互式用户界面（UI），允许众包工作者对图像进行像素级的3D属性标注，包括遮挡边界、褶皱边界、表面法线、相对深度、相对法线以及平面性等。通过这些标注，系统能够重建出像素级的深度信息。每个图像的标注平均耗时305秒，确保了数据集的高质量。

特点

OASIS数据集的显著特点在于其丰富的3D属性标注，涵盖了遮挡边界、褶皱边界、表面法线、相对深度、相对法线和平面性等多种属性。这些标注不仅支持像素级的深度重建，还为多种单图像3D任务提供了前所未有的真实世界数据。此外，OASIS的规模和多样性使其成为单图像3D研究的重要资源，尤其是在处理复杂场景和几何形状时。

使用方法

OASIS数据集可用于训练和评估多种单图像3D任务的深度学习模型，包括深度估计、表面法线估计、边界检测和平面实例分割等。研究者可以使用数据集中的像素级标注来优化模型，并通过与人类标注的对比来评估模型的性能。此外，OASIS还提供了详细的统计信息和基准测试结果，帮助研究者更好地理解和利用数据集。

背景与挑战

背景概述

OASIS（Open Annotations of Single Image Surfaces）是由密歇根大学和普林斯顿大学的研究人员共同开发的大规模数据集，旨在解决单张图像的三维属性恢复问题。该数据集包含了140,000张互联网图像的详细三维几何注释，涵盖了深度、表面法线、遮挡边界等多种三维属性。OASIS的创建填补了单图像三维重建领域缺乏大规模、高质量数据集的空白，为深度估计、表面法线估计等任务提供了丰富的训练和评估资源。其核心研究问题是如何从单张图像中恢复三维几何信息，尤其是在复杂场景中的应用。OASIS的发布对计算机视觉领域，尤其是三维视觉研究，具有重要的推动作用。

当前挑战

OASIS数据集的构建面临多重挑战。首先，单图像三维重建是一个病态问题，缺乏明确的解析解，尤其是在复杂场景中，模型容易受到视角、光照等因素的影响。其次，数据集的构建过程中，注释的复杂性和耗时性是主要难点。每张图像的注释平均需要305秒，远高于传统图像分类任务的注释时间。此外，OASIS提供了像素级的三维注释，这在数据集构建中带来了巨大的计算和存储压力。最后，尽管OASIS提供了丰富的三维属性注释，但如何有效利用这些注释进行模型训练和评估，仍是一个开放的研究问题。

常用场景

经典使用场景

OASIS数据集的经典使用场景主要集中在单张图像的三维重建任务中，特别是深度估计、表面法线估计、边界检测以及平面实例分割等任务。通过提供丰富的像素级三维几何标注，OASIS为研究人员提供了一个大规模的、多样化的数据集，用于训练和评估深度学习模型，从而推动单张图像三维重建技术的发展。

衍生相关工作

OASIS数据集的发布催生了一系列相关研究工作，特别是在单张图像三维重建领域。许多研究者基于OASIS数据集开发了新的深度学习模型，用于深度估计、表面法线估计和边界检测等任务。此外，OASIS还激发了对三维重建任务中评估指标的重新思考，推动了新的评估方法的提出。这些工作不仅提升了现有模型的性能，还为未来的研究提供了新的方向。

数据集最近研究

最新研究方向

OASIS数据集在单图像3D重建领域引发了广泛关注，其最新研究方向主要集中在深度估计、表面法线估计、边界检测和实例分割等任务上。该数据集通过提供140,000张图像的详细3D几何注释，填补了单图像3D任务中缺乏大规模、多样化数据的空白。研究者们利用OASIS数据集训练和评估深度学习模型，探索如何从单张图像中恢复精确的3D属性。此外，OASIS的注释质量高，涵盖了多种3D属性，如遮挡边界、表面法线等，为模型提供了丰富的训练数据，推动了单图像3D重建技术的进一步发展。

相关研究论文

• OASIS: A Large-Scale Dataset for Single Image 3D in the Wild

  密歇根大学, 安娜堡 · 2020年