mirshad7/NERDS360

NERDS 360是一个多视图数据集，专为户外场景的神经网络场技术（NeRF）训练和评估设计。该数据集包含75个无边界场景，每个场景都有完整的多视图注释，涵盖了多样化的场景类型。数据集分为训练集和测试集，训练集包含75个场景（19.5 GB），测试集包含5个场景（2.1 GB）。

NERDS 360 is a multi-view dataset specifically designed for the training and evaluation of Neural Radiance Fields (NeRF) in outdoor scenarios. It contains 75 unbounded scenes, each with complete multi-view annotations, covering a diverse range of scene types. The dataset is split into a training subset and a test subset: the training subset includes 75 scenes with a total size of 19.5 GB, while the test subset contains 5 scenes with a total size of 2.1 GB.

原始信息汇总

NEO 360: Neural Fields for Sparse View Synthesis of Outdoor Scenes

📊 数据集

NERDS 360 Multi-View 户外场景数据集

NeRDS 360: "NeRF for Reconstruction, Decomposition and Scene Synthesis of 360° outdoor scenes” 数据集，包含75个无边界场景，具有完整的多视角标注和多样化的场景，适用于可泛化的NeRF训练和评估。

下载数据集：

• NERDS360 训练集 - 75个场景 (19.5 GB)
• NERDS360 测试集 - 5个场景 (2.1 GB)

数据集可视化（即将发布）：

我们将发布可视化脚本，用于生成如下可视化内容，例如累积点云、多视角相机标注等。

引用

如果您发现此仓库或我们的NERDS 360数据集有用，请考虑引用：

@inproceedings{irshad2023neo360, title={NeO 360: Neural Fields for Sparse View Synthesis of Outdoor Scenes}, author={Muhammad Zubair Irshad and Sergey Zakharov and Katherine Liu and Vitor Guizilini and Thomas Kollar and Adrien Gaidon and Zsolt Kira and Rares Ambrus}, journal={Interntaional Conference on Computer Vision (ICCV)}, year={2023}, url={https://arxiv.org/abs/2308.12967}, }

搜集汇总

数据集介绍

构建方式

在计算机视觉领域，稀疏视角合成技术致力于从有限视角重建三维场景，NERDS 360数据集的构建正是为此提供支撑。该数据集通过精心采集75个无边界户外场景的多视角图像与标注，每个场景均配备了完整的相机参数与几何信息，数据采集过程注重场景的多样性与真实性，涵盖了不同光照、天气与复杂度的户外环境，为神经辐射场等模型的训练与评估奠定了坚实基础。

特点

NERDS 360数据集以其无边界户外场景的丰富性与标注的完整性著称，包含75个训练场景与5个测试场景，场景类型多样，覆盖了城市、自然等多种户外环境。数据集提供了高质量的多视角图像及其对应的相机姿态、深度信息等完整标注，支持神经场模型进行场景重建、分解与合成任务，其大规模与真实性为户外场景的通用化神经表示学习提供了重要资源。

使用方法

该数据集主要用于训练与评估神经辐射场及其他神经场模型在稀疏视角下的户外场景合成能力。研究人员可下载提供的训练集与测试集，利用多视角图像与标注数据，进行模型训练、验证与性能比较。数据集附带的可视化脚本有助于生成点云累积、相机标注等可视化结果，为算法开发与结果分析提供便利，推动户外场景三维重建与视图合成技术的发展。

背景与挑战

背景概述

NERDS 360数据集由丰田研究院（Toyota Research Institute, TRI）的研究团队于2023年创建，旨在推动室外场景稀疏视图合成领域的发展。该数据集作为NEO 360研究项目的核心组成部分，聚焦于利用神经辐射场（NeRF）技术，从有限视角图像中实现高质量、无边界室外场景的三维重建与视图生成。其构建涵盖了75个多样化室外场景的完整多视图标注，为神经场模型的泛化训练与评估提供了关键数据支撑，显著提升了室外场景合成研究的真实性与复杂性。

当前挑战

NERDS 360数据集致力于解决室外场景稀疏视图合成中的核心难题，即如何在视角极度受限的条件下，精准重建复杂、无边界自然环境的几何与外观细节。构建过程中面临多重挑战：室外场景的光照变化、动态物体干扰以及大规模无界结构的标注一致性难以保证；多视图数据采集需协调高精度传感器同步与标定，确保空间对齐的准确性；此外，数据集的多样性与泛化性要求涵盖不同季节、天气与地形，增加了数据采集与处理的复杂度。

常用场景

经典使用场景

在计算机视觉领域，稀疏视角合成技术旨在从有限数量的输入图像中生成高质量的新视角渲染。NERDS 360数据集作为户外场景的多视角标注资源，其经典使用场景集中于训练和评估神经辐射场（NeRF）模型，特别是针对无边界户外环境的稀疏视图合成。该数据集通过提供75个具有完整多视角注释的户外场景，支持研究者开发能够从稀疏输入中重建复杂三维结构并生成逼真新视角的算法，从而推动视觉合成技术的边界。

解决学术问题

NERDS 360数据集主要解决了户外场景中稀疏视图合成所面临的学术挑战，包括无边界环境下的几何重建、光照一致性保持以及视角外推的准确性。传统方法在处理户外复杂场景时，常因数据稀疏性导致渲染质量下降或细节丢失。该数据集通过提供丰富的多视角标注，使得基于神经场的方法能够学习场景的隐式表示，有效缓解了数据不足问题，促进了通用化NeRF模型的发展，并为三维视觉研究提供了可靠的基准测试平台。

衍生相关工作

基于NERDS 360数据集，已衍生出多项经典研究工作，特别是在神经场和稀疏视图合成方向。例如，原论文提出的NEO 360框架利用该数据集训练模型，实现了户外场景的高质量稀疏视图合成；后续研究可能扩展至场景分解、动态元素处理或跨域泛化等方面。这些工作不仅验证了数据集的学术价值，还激发了更广泛的创新，如结合生成模型或强化学习，进一步拓展了计算机视觉在三维重建与合成中的应用前景。