UnCommon Objects in 3D (uCO3D)

UnCommon Objects in 3D (uCO3D) 是由Meta AI等机构创建的一个高质量3D对象数据集，旨在为3D深度学习和生成式AI提供支持。该数据集包含超过170,000个场景，涵盖1,000多个对象类别，每个视频帧都带有精确的3D注释，包括SfM相机、点云和3D高斯溅射重建。数据集通过众包方式收集，视频分辨率高，且经过严格的质量检查，确保每个视频都能提供完整的360度视角覆盖。uCO3D在3D模型训练中表现出色，优于现有的MVImgNet和CO3Dv2数据集，适用于3D重建、新视角合成和文本到3D生成等应用领域。UnCommon Objects in 3D (uCO3D) is a high-quality 3D object dataset created by Meta AI and other institutions, aiming to support 3D deep learning and generative AI. This dataset contains over 170,000 scenes spanning more than 1,000 object categories, with each video frame equipped with precise 3D annotations including SfM cameras, point clouds, and 3D Gaussian Splatting reconstructions. Collected via crowdsourcing, the dataset features high-resolution videos and has undergone rigorous quality checks to ensure that each video provides complete 360-degree view coverage. uCO3D delivers excellent performance in 3D model training, outperforming existing datasets such as MVImgNet and CO3Dv2, and is applicable to application fields including 3D reconstruction, novel view synthesis, and text-to-3D generation.

搜集汇总

数据集介绍

构建方式

UnCommon Objects in 3D (uCO3D) 数据集的构建基于众包方式，通过 Amazon Mechanical Turk 平台收集了超过 1,000 个物体类别的高质量 360° 视频。为确保视频质量，每个视频都经过手动审核，确保其分辨率达到 1080p 或更高，并且覆盖物体的所有角度。视频采集时，拍摄者遵循正弦波轨迹，以确保相机视角的多样性。每个视频帧均通过 VGGSfM 系统进行 3D 标注，包括精确的相机参数、稀疏点云以及 3D 高斯溅射重建。此外，数据集还提供了每个物体的文本描述和 3D 高斯溅射重建，进一步增强了数据的丰富性。

特点

uCO3D 数据集的特点在于其规模、多样性和高质量。它包含了超过 170,000 个场景，覆盖了 1,070 个视觉类别，远超现有的 CO3Dv2 和 MVImgNet 数据集。每个视频都经过严格的质量检查，确保其覆盖物体的所有角度，并且 60% 以上的视频分辨率达到 1080p 或更高。3D 标注方面，uCO3D 使用了 VGGSfM 系统进行相机重建，并结合 3D 高斯溅射技术进行场景重建，确保了标注的高精度。此外，数据集还提供了每个物体的文本描述，为生成模型的训练提供了额外的语义信息。

使用方法

uCO3D 数据集适用于多种 3D 深度学习任务，包括少视图 3D 重建、新视角合成和文本到 3D 生成。在少视图 3D 重建任务中，可以使用 uCO3D 训练模型如 LightplaneLRM，通过输入少量视图生成高质量的 3D 重建结果。在新视角合成任务中，uCO3D 可用于训练扩散模型，生成任意视角的图像。对于文本到 3D 生成任务，uCO3D 提供了 3D 高斯溅射重建和文本描述，使得模型能够从文本生成逼真的 3D 物体。此外，uCO3D 的 3D 高斯溅射重建还可以用于生成固定视角的渲染图像，模拟合成数据的获取过程，进一步提升生成模型的训练效果。

背景与挑战

背景概述

UnCommon Objects in 3D (uCO3D) 是由Meta AI等机构的研究人员于2025年推出的一个面向3D深度学习与生成式AI的新型数据集。该数据集旨在解决3D计算机视觉领域中高质量、多样化数据的稀缺问题。uCO3D包含了超过1,000个物体类别的高分辨率360度视频，每个视频帧都配备了精确的3D注释，包括SfM相机、点云和3D高斯溅射重建。与现有的数据集如MVImgNet和CO3Dv2相比，uCO3D在多样性和质量上均有显著提升，覆盖了更多的物体类别，并通过严格的质量检查确保了数据的可靠性。该数据集的推出为3D生成模型和深度学习模型的训练提供了更为丰富和精确的数据支持。

当前挑战

uCO3D数据集在构建过程中面临的主要挑战包括数据采集与注释的复杂性。首先，为了确保360度覆盖和高质量的视频采集，数据集依赖于众包平台Amazon Mechanical Turk，要求参与者遵循特定的拍摄轨迹，并对每个视频进行手动审核，以确保其符合标准。其次，3D注释的生成依赖于先进的VGGSfM系统，尽管该系统在精度上优于传统的COLMAP，但其计算成本较高，且对数据质量的要求更为严格。此外，数据集的多样性虽然显著提升，但也带来了类别不平衡的问题，尤其是在长尾分布中的稀有类别，如何确保这些类别的数据质量与数量是一个持续的挑战。最后，尽管uCO3D在3D重建和生成任务中表现优异，但其大规模数据的存储与处理也对计算资源提出了更高的要求。

常用场景

经典使用场景

UnCommon Objects in 3D (uCO3D) 数据集在三维深度学习与生成式人工智能领域具有广泛的应用。其经典使用场景包括多视角三维重建、新视角合成以及文本到三维生成任务。通过提供高质量的全方位360度视频和精确的三维注释，uCO3D 能够有效支持基于少量输入视图的三维重建模型训练，并显著提升生成模型的真实感与多样性。

实际应用

在实际应用中，uCO3D 数据集为数字孪生、虚拟现实、增强现实等领域提供了强大的数据支持。例如，在数字孪生中，uCO3D 的高质量三维重建能力可用于创建真实物体的精确三维模型。在虚拟现实与增强现实中，其多视角合成功能能够生成逼真的虚拟场景，提升用户体验。此外，uCO3D 还可用于机器人视觉、自动驾驶等领域的三维感知与场景理解任务。

衍生相关工作

uCO3D 数据集推动了多项经典工作的衍生与发展。例如，基于 uCO3D 训练的 LightplaneLRM 模型在少量视图三维重建任务中表现出色，显著优于基于其他数据集的模型。此外，uCO3D 还被用于训练 CAT3D 等新视角合成模型，提升了生成视图的逼真度与一致性。在文本到三维生成领域，uCO3D 的三维高斯溅射重建技术为 Instant3D 等模型提供了真实数据支持，推动了生成式三维模型的实用化进程。