Omnidirectional Blender 3D Dataset (OB3D)

OB3D数据集设计用于评估从多视角等距柱状图像进行3D重建的准确性，也可用于评估新视角合成和相机姿态估计的准确性。OB3D包含12个场景，每个场景包含RGB图像、深度图、法线图、相机参数和稀疏3D点云。

The OB3D dataset is designed to evaluate the accuracy of 3D reconstruction from multi-view isometric cylindrical images, and can also be used to assess the accuracy of novel view synthesis and camera pose estimation. OB3D includes 12 scenes, each of which contains RGB images, depth maps, normal maps, camera parameters, and sparse 3D point clouds.

原始信息汇总

Omnidirectional Blender 3D (OB3D) 数据集概述

数据集简介

• 目的：用于评估多视角等距柱状图像进行3D重建的准确性，也可用于评估新视角合成和相机姿态估计的准确性。
• 内容：包含12个场景，每个场景包含RGB图像、深度图、法线图、相机参数和稀疏3D点云。

数据集结构

OB3D |-- archiviz-flat | |-- Egocentric | |--cameras | |--00000_cam.json | |--... | |--depths | |--00000_depth.exr | |--... | |--images | |--00000_rgb.png | |--... | |--normals | |--00000_normal.exr | |--... | |--sparse | |--sparse.ply | |--train.txt | |--test.txt | |-- Non-Egocentric | |-...

评估功能

1. 3D重建网格模型评估

• 前提：重建的网格模型需与真实数据具有相同的坐标系和比例。
• 步骤：
  1. 使用提供的真实相机参数从等距柱状图像重建网格模型。
  2. 使用评估代码进行定量评估。

2. 新视角合成（NVS）渲染图像评估

• 指标：PSNR[dB]、SSIM、LPIPS(A)、LPIPS(V)。
• 步骤：
  1. 设置渲染图像和真实图像的路径。
  2. 运行评估代码。

3. 相机姿态估计评估

• 支持格式：OpenSfM或OpenMVG。
• 步骤：
  1. 估计相机姿态并保存为指定格式。
  2. 运行评估代码。

示例应用

1. 使用NeuS进行3D重建

• 修改版本：SDF360（支持ERP图像渲染）。
• 步骤：
  1. 下载代码并预处理数据。
  2. 创建配置文件并训练模型。
  3. 提取网格模型并进行评估。

2. 使用OmniSDF进行3D重建

• 仅支持定性评估。
• 步骤：
  1. 下载代码并修改数据加载器。
  2. 创建配置文件并训练模型。
  3. 提取网格模型。

附加信息

• 输入视图数量调整：可通过脚本生成修改后的数据集。
• SDF-based方法评估：需保存变换参数以将网格模型转换回原始坐标系和比例。

引用

@article{ito2025ob3d, title = {OB3D: A New Dataset for Benchmarking Omnidirectional 3D Reconstruction Using Blender}, author = {Ito, Shintaro and Takama, Natsuki and Watanabe, Toshiki and Ito, Koichi and Chen, Hwann-Tzong and Aoki, Takafumi}, year = {2025}, journal = {arXiv preprint arXiv:2505.20126}, }

致谢

• 使用了OmniSDF、SDF360（基于NeuS修改）、3DGS、pytorch-ssim、OpenSfM和OpenMVG等项目。

搜集汇总

数据集介绍

构建方式

在计算机视觉领域，全景图像的三维重建一直是研究热点。OB3D数据集通过Blender软件精心构建了12个多样化场景，每个场景包含RGB图像、深度图、法线图、相机参数以及稀疏点云数据。数据集采用等距柱状投影格式存储全景图像，通过精确控制相机参数和场景布局，确保了数据的准确性和一致性。数据采集过程中，同时生成了以自我中心和非自我中心视角的两种观测模式，为研究提供了更丰富的视角选择。

特点

OB3D数据集最显著的特点是提供了全方位的三维场景信息。该数据集不仅包含常规的RGB图像，还提供了精确的深度信息和表面法线数据，这为三维重建算法的评估提供了全面的基准。数据集采用标准化的目录结构组织，便于研究者快速定位所需数据。特别值得一提的是，数据集支持多种评估任务，包括三维重建质量评估、新视角合成效果评估以及相机位姿估计精度验证，这使其成为全景视觉研究中难得的综合性基准数据集。

使用方法

使用OB3D数据集进行三维重建评估时，需确保重建模型与真实场景采用相同的坐标系和比例尺。数据集提供了专门的评估代码，支持从重建网格生成深度图，并与真实深度图进行定量比较。对于新视角合成任务，评估代码可以计算PSNR、SSIM和LPIPS等指标。数据集还支持与OpenSfM和OpenMVG等主流相机位姿估计工具的对接，方便研究者进行相机位姿估计精度的评估。通过提供的示例代码和配置文件，研究者可以快速上手进行各类实验。

背景与挑战

背景概述

全景三维重建技术在计算机视觉领域具有重要价值，而高质量数据集的缺乏制约了该领域的发展。OB3D数据集由日本筑波大学等机构的研究团队于2025年创建，旨在为基于多视角全景图像的三维重建任务提供标准化评估基准。该数据集包含12个精心设计的场景，每个场景均提供RGB图像、深度图、法线图、相机参数和稀疏点云等完整标注，支持三维重建、新视角合成和相机位姿估计等多个任务的性能评估。作为首个专注于全景图像三维重建的综合性数据集，OB3D通过Blender渲染引擎生成高精度数据，其多模态标注体系为相关算法研究提供了重要支撑。

当前挑战

在全景三维重建领域，OB3D数据集面临双重挑战。从技术层面看，全景图像特有的球面投影特性导致传统基于透视相机的重建算法失效，需要开发专门的评估方法；同时，全景图像的高畸变特性使得深度估计和法线预测的精度验证变得尤为困难。在数据集构建过程中，研究团队需要解决多模态数据对齐、相机参数标定精度控制等技术难题，确保不同场景间数据尺度的一致性。此外，由于全景重建涉及复杂的坐标转换，评估时要求重建模型必须保持与真实数据相同的坐标系和尺度，这对数据集的标准化处理提出了严格要求。

常用场景

经典使用场景

在计算机视觉领域，全景图像的3D重建一直是研究热点。Omnidirectional Blender 3D Dataset (OB3D) 作为专门为评估多视角全景图像3D重建精度而设计的数据集，其经典使用场景包括3D重建、新视角合成和相机姿态估计。通过提供RGB图像、深度图、法线图、相机参数和稀疏3D点云等丰富数据，OB3D为研究人员提供了一个全面的基准测试平台，特别适用于评估基于等距柱状投影图像的3D重建算法的性能。

实际应用

在实际应用层面，OB3D数据集的价值体现在多个方面。在虚拟现实领域，基于该数据集开发的3D重建技术可以创建更真实的虚拟环境；在机器人导航中，精确的深度估计和相机姿态估计算法可提升自主导航系统的可靠性；在文化遗产保护方面，该数据集支持的技术可用于数字化保存历史建筑和文物。数据集提供的评估工具链也大大降低了相关技术从实验室走向实际应用的壁垒。

衍生相关工作

OB3D数据集已经催生了一系列重要的衍生工作。基于该数据集，研究者开发了SDF360这一改进版NeuS算法，专门针对等距柱状投影图像进行优化。CVPR2024发表的OmniSDF工作也采用了OB3D作为评估基准。此外，数据集提供的评估框架被多个全景3D重建研究采纳，形成了一套标准化的评估流程。这些衍生工作不仅验证了数据集的价值，也推动了全景图像处理技术的整体发展。