Omnidirectional Blender 3D (OB3D)

OB3D数据集由东北大学和国立清华大学联合创建，是一个用于评估从多方位全向图像进行3D重建方法的新合成数据集。数据集包含12个室内外场景，每个场景提供了RGB图像、深度图、法线图、稀疏3D点云和真实相机参数，使得可以定量评估3D重建方法的性能。OB3D数据集适用于相关任务，如新视角合成和相机校准，有助于从全向图像开发3D重建技术。数据集旨在解决现有数据集缺乏评估全向图像3D重建的特定环境问题，通过提供精确的相机参数和丰富的场景信息，OB3D为3D重建方法提供了标准化和公平的评估基准。The OB3D dataset, jointly developed by Northeast University and National Tsinghua University, is a novel synthetic dataset for evaluating 3D reconstruction methods using omnidirectional images from multiple viewpoints. The dataset contains 12 indoor and outdoor scenes, with each scene providing RGB images, depth maps, normal maps, sparse 3D point clouds, and ground-truth camera parameters, enabling the quantitative evaluation of 3D reconstruction method performance. The OB3D dataset is applicable to related tasks such as novel view synthesis and camera calibration, and facilitates the development of 3D reconstruction techniques based on omnidirectional images. Designed to address the critical limitation of existing datasets that lack dedicated environments for evaluating 3D reconstruction from omnidirectional images, OB3D offers a standardized and fair evaluation benchmark for 3D reconstruction methods by providing accurate camera parameters and rich scene information.

搜集汇总

数据集介绍

构建方式

Omnidirectional Blender 3D (OB3D) 数据集通过Blender 3D项目生成，采用精心设计的相机轨迹捕捉多样化的室内外场景。具体构建流程包括：首先加载Blender 3D项目及Python渲染脚本，随后在Egocentric（以拍摄者为中心的螺旋轨迹）和Non-Egocentric（自由移动轨迹）两种模式下采样相机位姿，利用Blender的等距柱状投影渲染无透镜畸变的RGB图像、深度图与法线图，并输出精确的相机参数。最后通过OpenMVG软件从多视图图像中重建稀疏3D点云，形成包含12个复杂场景的完整数据集。

特点

OB3D的核心特点在于其针对全向图像3D重建任务的专项优化：1) 提供像素级对齐的等距柱状RGB图像、深度图及法线图，覆盖室内外多样化场景；2) 包含Blender生成的绝对精确相机参数，避免了真实数据中SLAM/SfM的估计误差；3) 独特设计Egocentric与Non-Egocentric双轨迹数据，可评估算法在不同拍摄模式下的鲁棒性；4) 配套稀疏3D点云与标准化评估协议，支持相机位姿估计、新视角合成和3D重建等多任务基准测试。相较于现有数据集，OB3D首次实现了全向图像几何重建的端到端评估体系。

使用方法

使用OB3D需遵循其模块化评估协议：1) 相机参数估计任务需通过SfM算法计算相对位姿误差（RRA/RTA）和绝对轨迹误差（ATE）；2) 新视角合成任务利用25张训练集图像重建辐射场，在25张测试集上计算PSNR、SSIM和LPIPS指标；3) 3D重建任务通过深度图渲染误差（RMSE/δ1.25）评估网格质量，需排除天空等无效区域。数据集支持直接加载Blender格式的相机参数，或通过OpenMVG处理稀疏点云初始化3DGS。建议按场景类型（室内/室外）和轨迹模式分别验证算法性能。

背景与挑战

背景概述

Omnidirectional Blender 3D (OB3D) 是由日本东北大学和台湾国立清华大学的研究团队于2025年提出的新型合成数据集，旨在推动基于多视角全景图像的3D重建技术发展。该数据集利用Blender 3D引擎构建，包含12个室内外复杂场景，提供全景RGB图像、精确相机参数、深度图、法线图及稀疏3D点云等完备真值数据。作为首个专为全景3D重建定制的基准数据集，OB3D填补了现有数据在场景多样性、相机轨迹控制（支持非自我中心轨迹）和几何真值粒度方面的空白，对AR/VR环境构建、自动驾驶高精地图等应用具有重要价值。其创新性在于通过合成数据规避真实采集的镜头畸变问题，同时保留复杂场景的几何挑战性。

当前挑战

OB3D针对全景3D重建特有的两大挑战：一是解决等距柱状投影在极区几何畸变导致的重建精度下降问题，要求算法能有效补偿纬度相关的形变；二是构建过程中需克服多视角数据对齐难题，包括非自我中心相机轨迹下的视角重叠不足、对称场景的特征匹配歧义等。数据集通过精确控制Blender渲染参数确保相机位姿真值亚像素级精度，但同时也面临合成数据与真实场景的光照、材质差异带来的域适应挑战。此外，大规模室外场景的深度跨度变化（如天空区域无效深度）对评估协议设计提出了特殊要求。

常用场景

经典使用场景

在计算机视觉领域，全方位3D重建技术正逐渐成为研究热点。OB3D数据集作为专为全方位图像设计的合成数据集，其经典使用场景主要集中在基于多视角全方位图像的3D重建任务上。通过提供包含复杂室内外场景的RGB图像、深度图、法线图以及精确相机参数，该数据集为研究者提供了系统评估3D重建算法的标准化平台。特别是在处理等距柱状投影带来的几何畸变问题上，OB3D通过精心设计的场景布局和地面真实数据，为NeRF、3DGS等辐射场渲染方法提供了理想的测试环境。

解决学术问题

OB3D数据集有效解决了全方位3D重建领域的多个关键学术问题。针对现有数据集缺乏专门评估协议的问题，它提供了包含12个复杂场景的标准化基准，每个场景配备像素级对齐的地面真实数据。在几何畸变校正方面，数据集通过精确的相机参数和多样化的场景设计，为研究等距柱状投影在极区畸变的影响提供了量化分析基础。此外，其同时包含自我中心和非自我中心相机轨迹的特性，填补了传统数据集在相机运动模式单一性方面的空白，使得算法在真实采集场景下的泛化能力得以系统评估。

衍生相关工作

围绕OB3D数据集已衍生出多项重要研究工作。在新型视图合成方向，基于该数据集开发的360-GS和OmniGS等方法改进了高斯泼溅在球面投影下的渲染精度。3D重建领域则有OmniSDF等研究利用数据集的双轨迹特性，提出了适应宽基线全方位图像的表面距离场估计方法。此外，数据集还被用于评估改进的相机参数估计算法，如结合球面特征的SLAM系统优化。这些衍生工作共同推动了全方位视觉在几何理解和场景重建方面的技术进步。