Holo360D

Holo360D是一个大规模真实世界数据集，包含超过10万个全景图像，并带有对齐的几何标注（如深度图、掩码和相机姿态）。它旨在通过连续轨迹捕获支持全景3D重建研究，适用于室内外场景，提供训练和测试数据，用于模型微调和评估。Holo360D is a large-scale real-world dataset comprising over 100,000 panoramic images accompanied by aligned geometric annotations, including depth maps, segmentation masks, and camera poses. Designed to support panoramic 3D reconstruction research via continuous trajectory capture, this dataset covers both indoor and outdoor scenarios, and provides training and test data for model fine-tuning and evaluation.

原始信息汇总

Holo360D 数据集概述

数据集简介

Holo360D 是一个大规模真实世界 360° 全景数据集，旨在推动全景 3D 重建等研究领域的发展。该数据集包含 10 万以上的全景图像，并配有对齐的几何标注，支持连续轨迹的多视图学习。

主要特点

• 大规模真实世界 360° 全景数据集
• 连续轨迹采集：支持多视图设置
• 高完整度深度图：精确对齐，适用于全景 3D 学习
• 基准测试设置：支持模型微调和评估

数据集结构

Holo360D/ ├── train/ │ ├── Indoor_xxx/ │ │ ├── rgb/ # 全景 RGB 图像 (.jpg) │ │ ├── depth/ # 深度图 (.exr) │ │ ├── mask/ # 掩码 (.jpg) │ │ ├── rgb_mask/ # RGB 掩码全景图 (.jpg) │ │ └── poses/ # 相机位姿 (.txt) │ ├── Indoor_xxx/ │ ├── Outdoor_xxx/ │ │ ├── rgb/ │ │ ├── depth/ │ │ │ ├── mesh_depth/ # 网格深度图 (.exr) │ │ │ ├── pointcloud_depth/ # 点云深度图 (.exr) │ │ │ ├── visual_mesh_depth/ # 网格深度可视化 (.jpg) │ │ │ └── visual_pointcloud_depth/ # 点云深度可视化 (.jpg) │ │ ├── mask/ │ │ ├── rgb_mask/ │ │ └── poses/ │ ├── Outdoor_xxx/ │ └── ... └── test/ ├── Indoor_xxx/ │ ├── rgb/ │ ├── depth/ │ ├── mask/ │ ├── rgb_mask/ │ └── poses/ ├── Indoor_xxx/ ├── Outdoor_xxx/ │ ├── rgb/ │ ├── depth/ │ │ ├── mesh_depth/ │ │ ├── pointcloud_depth/ │ │ ├── visual_mesh_depth/ │ │ └── visual_pointcloud_depth/ │ ├── mask/ │ ├── rgb_mask/ │ └── poses/ ├── Outdoor_xxx/ └── ...

• 数据集按 训练集（train） 和 测试集（test） 划分
• 测试集已发布，包含 13 个室内场景 和 4 个室外场景
• 所有模态文件共享时间戳风格的文件名，支持帧级对齐

数据下载

• Hugging Face 平台：https://huggingface.co/datasets/ouou123/Holo360D/tree/main
• 完整数据集：待发布

论文与引用

• 论文地址：https://arxiv.org/pdf/2604.22482
• 项目页面：即将发布

引用格式： bibtex @article{ou2026holo360d, title={Holo360D: A Large-Scale Real-World Dataset with Continuous Trajectories for Advancing Panoramic 3D Reconstruction and Beyond}, author={Ou, Jing and Cao, Zidong and Ren, Yinrui and Li, Zhuoxiao and Zhu, Jinjing and Hua, Tongyan and Zhang, Shuai and Xiong, Hui and Zhao, Wufan}, journal={arXiv preprint arXiv:2604.22482}, year={2026} }

搜集汇总

数据集介绍

构建方式

Holo360D数据集针对现有全景数据集在离散相机位置捕获、难以支撑连续多视角轨迹学习的局限而构建。其数据采集过程覆盖室内外多种真实场景，通过连续轨迹采集超过10万张全景图像，并同步生成与之精确对齐的几何标注。每个场景的数据子集均包含全景RGB图像、深度图、掩膜、RGB掩膜图像及相机位姿文件，其中室外场景的深度图进一步细分为基于网格和基于点云的两种类型，以适配不同的三维重建需求。不同模态的数据文件采用一致的时间戳命名方式，便于实现帧级精准对齐。

使用方法

Holo360D数据集遵循清晰统一的目录结构，每个场景文件夹下以独立子目录组织RGB图像、深度图、掩膜及位姿文件，便于研究者按需加载。使用时，用户可通过Hugging Face平台获取已发布的测试数据，并根据帧级对齐的文件名索引对应模态的样本。数据集的快速启动指南与官方预处理、评测管线虽待发布，但基于其标准化的文件格式（如JPG图像、EXR深度图、TXT位姿文件），研究者可便捷地集成至现有的三维重建框架中进行训练或微调。官方计划后续提供完整的加载脚本与评测代码，进一步降低使用门槛。

背景与挑战

背景概述

全景三维重建作为计算机视觉与图形学交叉领域的前沿方向，旨在从覆盖360度视野的球面图像中恢复场景的几何结构与外观信息。然而，现有前馈式三维重建模型在处理全景输入时，因球面畸变导致性能显著退化，制约了其在自动驾驶、机器人导航及虚拟现实等实际场景中的应用。此外，现有全景数据集大多在离散相机位置下采集，缺乏对连续多视角轨迹的支持，难以驱动高精度连续重建模型的发展。为突破这一瓶颈，香港科技大学（广州）与多所合作机构的研究人员于2026年推出了Holo360D大规模真实世界全景数据集。该数据集包含超过10万张全景图像，每张图像均配有对齐的高完整度深度图、掩码及相机位姿，并采用连续轨迹采集策略，为全景三维重建研究提供了坚实的基准与数据支撑。其发布不仅填补了连续多视角全景数据的空白，更推动了全景三维感知领域由离散向连续建模的范式演进。

当前挑战

Holo360D数据集所解决的核心挑战在于全景输入中球面畸变对前馈式三维重建模型性能的显著抑制，现有模型在非全景数据上表现优异，却难以直接泛化至全景场景。此外，传统全景数据集因离散采样的局限性，无法支撑连续多视角轨迹学习，限制了模型对场景连续几何与纹理的捕获能力。在数据集构建过程中，团队面临多重技术难点：需在复杂室内外环境中精确同步全景相机与激光雷达、结构光等传感器，实现连续轨迹下不同模态数据的亚像素级对齐；为消除动态遮挡与光照变化引发的深度伪影，研发了融合网格与点云的混合深度优化策略；同时，需设计高效的数据清洗与质量评估流程，确保10万级样本中每帧深度图的完整性与一致性。这些挑战的攻克，使得Holo360D成为首个同时具备大尺度、连续轨迹与高标注质量的全景三维重建基准数据集。

常用场景

经典使用场景

在全景三维重建领域，传统前馈模型因球面畸变而性能受限，且现有数据集多依赖离散相机位姿采集，难以支撑连续轨迹的多视角学习。Holo360D数据集以其超过10万张高精度对齐的全景图像与稠密深度标注，为连续轨迹下的全景多视图立体匹配与三维重建提供了理想训练与评测平台。其独特的连续轨迹设计使得研究者能够探索动态场景中相机运动与几何结构的内在关联，尤其适用于基于学习的神经辐射场与端到端重建模型的调优与泛化能力评估。

解决学术问题

该数据集系统性地解决了两个核心学术挑战：一是全景图像球面畸变导致传统三维重建方法精度下降的问题，通过提供大量真实场景的修正标注，使模型能够学习畸变不变特征；二是现有数据集因离散采样而无法建模连续运动视差，Holo360D的连续轨迹采集填补了这一空白，使得基于时序一致性的深度估计与场景流学习成为可能。这一突破极大地增强了全景三维重建技术的鲁棒性，并为多视角几何与动态场景理解的研究奠定了坚实的数据基础。

实际应用

在实际应用中，Holo360D数据集赋能了多种高价值场景：在虚拟现实与增强现实领域，其连续轨迹全景数据可用于构建沉浸式环境的高保真三维模型，提升用户交互体验；在自动驾驶中，全景环视感知系统的三维重建精度因该数据集而得到改善，助力复杂道路场景的可靠解析。此外，其支持的点云与网格深度标注为机器人导航、智慧城市的数字孪生建设提供了标准化的训练素材，显著降低了真实场景数据采集与标注的成本。

数据集最近研究

最新研究方向

Holo360D数据集聚焦于全景三维重建领域的前沿探索，其核心贡献在于打破了现有数据集多依赖离散视角捕获的局限，首次提供了包含连续运动轨迹的大规模真实世界全景数据。该数据集包含超过10万张高精度对齐的深度图与全景图像，直接回应了前馈式三维重建模型在全景输入下因球面畸变导致性能衰退的长期痛点。近年来，随着NeRF与3D高斯泼溅等技术的迅猛发展，连续视角下的场景表征学习成为热点，而Holo360D恰好为此类模型在复杂室内外环境中的泛化训练与评估提供了基准。其发布不仅推动了全景三维重建向更鲁棒、更真实的应用场景迈进，也为自动驾驶、虚拟现实等依赖沉浸式感知的领域注入了关键数据动力。