PanoX

PanoX是一个多模态合成全景数据集，包含来自室内和室外场景的高质量多模态全景图像，以及与之对齐的距离图、表面法线、反照率、粗糙度和金属度。该数据集解决了高质量全景数据中密集几何和材料注释的短缺问题，为视觉感知和空间智能的学习提供了支持。PanoX数据集包含超过10000个实例，对应不同模态的60000张全景图像，为全景视觉感知和图形化3D场景生成提供了有效数据。

原始信息汇总

PanoX数据集概述

基本信息

• 数据集名称: PanoX
• 创建者: KevinHuang
• 许可证: Apache-2.0
• 任务类型: Image-to-3D, Text-to-3D
• 模态: 3D
• 标签: panoramic, 3d, scene-generation, pbr

数据集描述

PanoX是一个大规模合成全景数据集，用于论文《OmniX: From Unified Panoramic Generation and Perception to Graphics-Ready 3D Scenes》。该数据集旨在推进2D提升技术，生成适用于基于物理的渲染（PBR）、重光照和仿真的图形就绪3D场景。

主要特征

• 包含来自多样化室内外场景的高质量多模态全景图
• 支持广泛的全景视觉任务，包括感知、生成和补全
• 适用于图形就绪3D场景的生成

数据集状态

PanoX数据集即将发布，请查看项目页面或GitHub仓库获取更新信息。

相关资源

• 项目页面: 未提供具体链接
• 代码仓库: 未提供具体链接
• 论文: arXiv:2510.26800

引用信息

bibtex @article{omnix, title={OmniX: From Unified Panoramic Generation and Perception to Graphics-Ready 3D Scenes}, author={Huang, Yukun and Yu, Jiwen and Zhou, Yanning and Wang, Jianan and Wang, Xintao and Wan, Pengfei and Liu, Xihui}, journal={arXiv preprint arXiv:2510.26800}, year={2025} }

使用统计

• 最近一个月下载量: 18

搜集汇总

数据集介绍

构建方式

PanoX数据集通过合成渲染技术构建，利用Unreal Engine 5引擎对8个大规模室内外场景进行全景渲染，涵盖商店、仓库、荒野等多样化环境。该数据集生成像素级对齐的多模态全景数据，包含RGB图像、距离图、表面法线、反照率、粗糙度与金属度等六种视觉模态，并通过Florence 2模型自动生成对应文本描述。最终形成超过10,000个实例的60,000张全景图像，按8:1:1比例划分为训练集、验证集和测试集，并设立独立域外评估集以保证泛化性能。

特点

PanoX作为首个同时覆盖室内外场景的全景数据集，其核心特征在于提供密集的几何与材质标注。数据集包含欧氏距离图和表面法线等几何信息，以及反照率、粗糙度、金属度等物理渲染材质属性，实现了多模态数据的像素级对齐。这种综合性标注使其成为连接二维视觉与三维图形的重要桥梁，支持基于物理的渲染、重光照和动力学模拟等高级图形学应用。与现有数据集相比，PanoX在模态完整性和场景多样性方面具有显著优势。

使用方法

该数据集主要服务于全景视觉任务的训练与评估，包括内在图像分解、几何估计和全景生成等研究方向。使用者可通过加载不同模态数据训练跨模态感知模型，如利用RGB图像预测材质属性或几何信息。数据集的标准化分割方案支持模型在域内和域外场景下的系统性评估，其提供的文本描述还可用于文本驱动全景生成任务。此外，数据集与OmniX框架的深度整合使其成为构建图形就绪三维场景的关键数据基础。

背景与挑战

背景概述

PanoX数据集于2025年由香港大学、快手科技、腾讯和Astribot等机构联合推出，旨在解决计算机视觉领域全景视觉理解与图形就绪三维场景构建的核心研究问题。该数据集作为OmniX框架的重要组成部分，突破了传统全景数据在几何结构与材质标注方面的局限，通过合成渲染技术生成包含距离、法向、反射率、粗糙度与金属度等多模态标注的大规模全景样本。其创新性在于首次实现了室内外场景全覆盖的高质量全景数据供给，为基于物理渲染的三维场景生成奠定了数据基础，显著推动了沉浸式虚拟环境构建技术的发展。

当前挑战

在解决全景视觉理解与三维重建领域问题时，PanoX面临几何精度与材质还原的双重挑战：现有方法难以从单张全景图像中精确恢复欧氏距离与表面法向，导致重建三维网格存在表面不平整现象；同时基于神经渲染的二维先验与基于物理渲染的材质特性之间存在表征差异，限制了金属度等复杂材质的泛化能力。在数据集构建过程中，面临真实全景数据采集成本高昂与人工标注难度大的困境，需通过合成渲染技术生成像素级对齐的多模态标注，但合成数据与真实场景的域差异仍是亟待解决的瓶颈问题。

常用场景

经典使用场景

在计算机视觉与图形学交叉领域，PanoX数据集作为首个同时涵盖室内外场景的多模态全景数据集，其经典应用场景集中于全景视觉任务的基准测试与模型验证。该数据集通过提供像素级对齐的几何与材质标注，为全景深度估计、法向预测和内在属性分解等任务建立了标准化评估体系。研究人员可基于其丰富的多模态标注开展跨场景泛化能力验证，推动全景视觉理解技术的系统化发展。

实际应用

在实际应用层面，PanoX数据集支撑的OmniX框架已实现从单张图像到图形就绪3D场景的完整生产流程。该技术可广泛应用于虚拟现实内容创作、建筑可视化与游戏开发等领域。通过物理渲染兼容的场景重建，支持自由视角探索、基于物理的重新打光与动力学仿真等高级图形功能。其交互式补全能力更使得大规模可探索3D场景的自动化生成成为可能，显著降低了高质量数字场景的制作门槛。

衍生相关工作

基于PanoX数据集衍生的经典工作主要集中于跨模态全景理解与生成技术。OmniX框架通过统一的任务建模与轻量级适配器设计，实现了全景生成、感知与补全的协同优化。相关研究进一步探索了2D生成先验在全景几何估计与材质分解中的迁移机制，推动了全景逆渲染技术的发展。该数据集还催生了针对全景连续性的特殊处理技术，如水平混合方法，为解决等距柱状投影的接缝问题提供了创新思路。