Pavilion-of-Prince-Teng

TW-Pavilion数据集是论文《DANTE-W: Diffuse Albedo Neural Texturing in the Wild》（ECCV 2026）的配套数据集，旨在支持野外漫反射反照率神经纹理绘制的研究。该数据集基于GigaNVS和GigaLit数据集，提供了场景“滕王阁”的一个预览子集，完整数据集预计未来公开。数据内容包含多模态信息：多视角RGB图像（存储在images_4文件夹中）、相机参数（遵循MVSNet约定，存储在cams_4文件夹中）、漫反射反照率预测（存储在albedo_4文件夹中），以及对齐相机坐标的重建网格模型（以.obj和.mtl文件格式提供）。数据集规模较小（小于1K样本），适用于图像到三维任务，如神经渲染、纹理映射和三维重建。数据组织为分层结构，便于与官方DANTE-W代码库集成使用。The TW-Pavilion dataset is a companion dataset to the paper DANTE-W: Diffuse Albedo Neural Texturing in the Wild (ECCV 2026), aimed at supporting research on diffuse albedo neural texturing in the wild. It is based on the GigaNVS and GigaLit datasets and provides a preview subset of the Tengwang Pavilion scene, with the full dataset expected to be released in the future. The data includes multimodal information: multi-view RGB images (stored in the images_4 folder), camera parameters (following the MVSNet convention, stored in the cams_4 folder), diffuse albedo predictions (stored in the albedo_4 folder), and reconstructed mesh models aligned with camera coordinates (provided in .obj and .mtl file formats). The dataset is small in scale (less than 1K samples) and suitable for image-to-3D tasks such as neural rendering, texture mapping, and 3D reconstruction. The data is organized in a hierarchical structure for easy integration with the official DANTE-W codebase.

原始信息汇总

数据集概述

• 名称：TW-Pavilion（The Pavilion of Prince Teng）
• 语言：英文
• 许可证：Apache-2.0
• 规模：样本数量小于1K
• 任务类别：图像到3D（image-to-3d）
• 标签：神经渲染、纹理映射、3D重建、多视图立体

来源与背景

• 该数据集是论文 DANTE-W: Diffuse Albedo Neural Texturing in the Wild（ECCV 2026）的一部分。
• 数据来源于 GigaNVS 和 GigaLit 数据集中的场景“The Pavilion of Prince Teng”的预览子集。
• 完整数据集将在后续公开发布。

数据内容与结构

数据集需按以下结构组织为文件夹 Pavilion_of_Prince_Teng：

• data_noon/：主数据目录
  • images_4/：存储采集的多视图RGB图像（.JPG格式）
  • cams_4/：存储相机参数文件（.txt格式，遵循MVSNet约定）
  • albedo_4/：存储漫反射反照率预测结果（.jpg格式）
• .obj文件：场景的重建网格模型（与相机对齐），包括 1_tex.obj、6.obj
• .mtl文件：材质定义文件，包括 1_tex.mtl、6.mtl

引用

若使用该数据集，请引用以下论文： bibtex @InProceedings{Wang_2024_CVPR, author = {Wang, Guangyu and Zhang, Jinzhi and Wang, Fan and Huang, Ruqi and Fang, Lu}, title = {XScale-NVS: Cross-Scale Novel View Synthesis with Hash Featurized Manifold}, booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)}, month = {June}, year = {2024}, pages = {21029-21039} }

搜集汇总

数据集介绍

构建方式

该数据集源自GigaNVS与GigaLit项目，以古典建筑景观“滕王阁”为核心场景，精心采集与构建而成。数据集中包含正午光照条件下的多视角RGB图像、对应的相机参数文件（遵循MVSNet标准格式）以及通过神经网络预测得到的漫反射反照率图。同时提供了与相机坐标系统一对齐的场景重建网格模型，以OBJ格式存储，并辅以MTL材质文件。数据按特定层级组织，确保与DANTE-W官方仓库无缝衔接。

特点

数据集呈现出高度的专业性与精细度，其最大特点在于融合了真实世界复杂光照环境下的多源视觉信息。它不仅提供高分辨率的多视角影像与精准的相机位姿，还创新性地引入漫反射反照率预测结果，为光照解耦与纹理映射研究提供了关键支持。场景网格模型与影像数据的严格对齐，确保了三维重建与神经渲染任务的可靠基准。当前发布版本为预览子集，完整数据集计划于近期公开，展现其开放性与扩展潜力。

使用方法

使用者可从HuggingFace平台直接下载该数据集，并将文件存放于名为Pavilion_of_Prince_Teng的文件夹中。依据官方说明，需将多视角图像存放至images_4子目录，相机参数置于cams_4，反照率图放入albedo_4，而OBJ与MTL文件则置于根目录。配合DANTE-W官方代码库，用户可直接加载该数据集进行神经纹理映射、多视图立体视觉及场景光照解耦等任务的训练与评估，操作简明高效。

背景与挑战

背景概述

《滕王阁序》所描绘的古典建筑与自然景观的融合，在计算机视觉领域中，通过多视角图像实现高保真三维重建与神经渲染，一直是研究者们追求的目标。Pavilion-of-Prince-Teng数据集源自GigaNVS与GigaLit项目，由Wang Guangyu等研究人员于2024年创建，旨在解决真实世界大规模场景的跨视角新视图合成与纹理映射问题。该数据集收录了滕王阁场景在不同光照下的多视角RGB图像、相机参数及漫反射反照率预测，为神经渲染与三维重建提供了高精度的真实世界基准。其发布对推动神经渲染技术在复杂户外场景中的应用具有重要影响，尤其是为消除光照干扰、实现漫反射反照率神经纹理化（DANTE-W）提供了关键支撑。

当前挑战

该数据集所解决的领域问题聚焦于真实世界场景的多视角立体匹配与纹理映射中光照变化引起的颜色不一致性，挑战在于从受复杂光照影响的观测图像中分离出场景固有的漫反射反照率。构建过程中，团队需面对户外动态光照、多尺度几何细节的精确重建以及大规模数据的高效处理难题。具体而言，如何在不同光照条件下保持反照率预测的鲁棒性，如何对齐多视角图像与重建网格模型，以及如何在保持高分辨率纹理的同时实现跨视角一致性，均为核心挑战。此外，数据集当前仅提供预览子集，完整数据集的规模扩展与质量控制亦是未来亟需突破的关键瓶颈。

常用场景

经典使用场景

《滕王阁》数据集源自GigaNVS与GigaLit项目，专注于大规模文化遗产场景的多视图图像与三维模型的联合捕捉。其最经典的使用场景在于图像到三维的神经渲染任务，为研究者提供了一套包含高分辨率RGB图像、精确相机参数以及扩散反照率预测的基础数据。该数据集的典型结构使研究人员能够便捷地训练和评估多视图立体匹配、神经纹理映射及可微渲染管网，从而在复杂户外场景中实现高质量的新视角合成与表面材质恢复。

实际应用

在实际应用中，《滕王阁》数据集为文化遗产的数字化保存与沉浸式展示提供了关键技术支撑。利用该数据集的联合标注，开发者可以构建高拟真度的虚拟漫游系统，实现在任意视点下对古建筑纹理与形体的真实渲染。此外，其所支撑的扩散反照率神经纹理技术可无缝集成到影视特效、游戏开发和智能城市三维建模管线中，显著降低人工纹理映射与光照矫正的成本，提升工业级三维内容生产的自动化水平。

衍生相关工作

围绕该数据集，学术界涌现了一系列经典工作，如DANTE-W提出的扩散反照率神经纹理映射方法，首次在复杂野外场景中实现了对漫反射与高光分量的分离渲染；XScale-NVS则利用哈希特征化流形，巧妙解决了跨尺度新视角合成中的分辨率与细节瓶颈。这些衍生工作不仅验证了数据集在神经渲染任务中的代表性，还催生了多视图光照分解、时域一致性纹理流等前沿方向，推动了三维视觉从单一重建向可编辑、可重光照语义表示的演进。