3D Wheat View Synthesis Dataset

该数据集用于高保真小麦植物的三维重建，包含20种不同的小麦植物，在6个不同的时间框架内拍摄，总共112个实例。数据集兼容当前的视图合成模型，如NeRF和3DGS，并可通过特定链接访问。

This dataset is designed for high-fidelity 3D reconstruction of wheat plants. It includes 20 distinct wheat plant individuals, captured across 6 different time frames, with a total of 112 instances. It is compatible with current mainstream view synthesis models such as NeRF and 3DGS, and can be accessed via a dedicated link.

原始信息汇总

数据集概述

数据集描述

该数据集用于高保真小麦植物三维重建，使用3D高斯喷射和神经辐射场技术。数据集包含20种不同的小麦植物，每种植物在6个不同的时间帧被成像，但由于设备故障，总共只捕获了112个实例。每个捕获的实例都生成了相机在三维空间中的变换信息，适用于当前的视图合成模型，如NeRF和3DGS。

数据集访问

数据集可通过以下链接访问：数据集链接

数据集结构

数据集的结构如下：

+-- Scene (plant) #1 | +-- Date #1 | | +-- colmap
| | +-- exports
| | +-- gaussian-splatting
| | +-- images
| | +-- nerf
| | +-- transforms
| +-- Date #2 | ... | +-- Date #6 +-- Scene (plant) #2 ... +-- Scene (plant) #20

每个顶层目录存储单个小麦植物的所有信息，每个日期目录包含在该特定日期收集的所有数据。重要的子目录包括：

1. Images: 存储所有捕获的RGB图像以及生成的深度图、分割图像和掩码。
2. Transforms: 包含每个图像的所有变换信息，包括原始、调整、深度、分割和未失真变换。
3. Gaussian-Splatting: 存储所有训练的3D高斯喷射模型数据，包括评估指标和导出的.splat文件。
4. NeRF: 存储所有训练的NeRF模型数据，包括评估指标。
5. Colmap: 包含在捆绑调整过程中生成的所有SfM数据，用于优化变换。
6. Exports: 存储每个训练模型的所有网格、点云、渲染图像和渲染视频。

数据集使用

数据集兼容当前的视图合成模型，如NeRF和3DGS。可以使用NeRFStudio或其他遵循标准数据输入约定的模型进行训练。

运行模型

提供了一个run_models.py脚本，可以用于查看预训练模型、训练新的视图合成数据、评估和导出图像/视频。

示例

提供了两个示例配置文件train_nerf.txt和train_3dgs.txt，可以通过以下命令运行：

bash run_models.py --config train_3dgs.txt run_models.py --config train_nerf.txt

自定义数据训练

可以训练自己的数据，只要数据具有以下目录结构：

+-- Scene | +-- Date | | +-- images | | | +-- image_type | | +-- transforms
| | | +-- transform_type

评估指标

评估指标包括由NeRFStudio评估脚本生成的nerfstudio_eval.json和由masked_psnr_calculator.py脚本生成的masked_eval.json。

搜集汇总

数据集介绍

构建方式

该数据集通过利用两台UR5机器人围绕一系列放置在转盘上的植物进行图像捕捉来构建。每个图像捕捉过程中，生成一个描述相机在三维空间中位置的变换矩阵。此数据集兼容当前的视图合成模型，如NeRF和3DGS。总共捕捉了20种不同的麦类植物，每个植物在6个不同的时间框架内成像，但由于设备故障，最终仅捕获了112个实例。在每个捕获的实例中，训练了一系列不同的NeRF和3DGS模型，并评估了训练模型的输出。

特点

该数据集的主要特点在于其高精度的三维重建能力和多时间点的数据捕捉。通过使用两台UR5机器人和转盘系统，确保了图像捕捉的均匀性和准确性。此外，数据集包含了多种类型的变换信息，包括原始、调整、深度、分割和未失真等，以适应不同的模型需求。每个植物实例的数据结构清晰，便于研究人员进行模型训练和评估。

使用方法

使用该数据集时，首先需要安装NeRFStudio，并按照官方文档进行配置。随后，可以通过提供的链接下载数据集样本，并将其解压到与仓库相同的目录中。使用提供的'run_models.py'脚本，可以方便地查看预训练模型、训练新模型、评估模型性能以及导出图像和视频。脚本支持命令行参数和配置文件两种方式进行控制，用户可以根据需要选择合适的功能进行操作。

背景与挑战

背景概述

3D Wheat View Synthesis Dataset是由Lewis-Stuart-11团队创建的，旨在通过3D高斯点云和神经辐射场（NeRF）技术实现小麦植株的高保真重建。该数据集的核心研究问题是如何在不同时间点捕捉小麦植株的3D结构，并利用这些数据进行视图合成。研究团队利用两个UR5机器人和旋转台，对20株小麦进行了多次图像捕捉，每次捕捉包括6个不同的时间点。尽管由于设备故障，最终只获得了112个实例，但这些数据为视图合成模型如NeRF和3DGS提供了宝贵的训练和评估资源。该数据集的创建不仅推动了农业领域的3D重建技术，也为相关领域的研究提供了新的数据支持。

当前挑战

3D Wheat View Synthesis Dataset在构建过程中面临多项挑战。首先，数据采集过程中设备故障导致部分时间点的数据缺失，影响了数据集的完整性。其次，NeRFStudio等复杂软件框架的依赖性使得安装和运行变得复杂，尤其是在非Linux系统上。此外，数据集的兼容性问题也是一个挑战，尽管数据集设计为兼容标准NeRF和3DGS模型，但在使用其他框架时可能需要额外的调整。最后，数据集的规模和多样性要求高效的存储和处理方法，以确保模型训练和评估的效率。

常用场景

经典使用场景

在农业科学领域，3D Wheat View Synthesis Dataset 主要用于高保真小麦植株的三维重建。该数据集通过利用两个UR5机器人围绕旋转台上的小麦植株进行图像捕捉，生成了一系列高质量的三维重建模型。这些模型不仅能够用于研究小麦植株的生长变化，还可以作为训练神经辐射场（NeRF）和三维高斯喷射（3DGS）等视图合成模型的基础数据。通过这些模型，研究人员可以深入分析小麦植株的形态特征和生长动态，为农业科学研究提供强有力的数据支持。

实际应用

在实际应用中，3D Wheat View Synthesis Dataset 可以广泛应用于农业生产中的植株监测和生长分析。例如，农民和农业科学家可以利用这些三维重建模型，实时监测小麦植株的健康状况和生长进度，及时发现并处理病虫害问题。此外，该数据集还可以用于开发智能农业系统，通过集成机器学习和计算机视觉技术，实现对农田的自动化管理。这些应用不仅提高了农业生产的效率，还为精准农业的发展提供了技术支持。

衍生相关工作

基于3D Wheat View Synthesis Dataset，研究人员开发了多种相关的经典工作。例如，通过该数据集训练的神经辐射场（NeRF）模型，能够生成高质量的三维视图，进一步应用于植物形态分析和生长模拟。此外，三维高斯喷射（3DGS）技术的应用，使得植株的三维重建更加精细和逼真。这些技术不仅在农业科学中得到了广泛应用，还为计算机视觉和机器学习领域提供了新的研究方向。未来，随着数据集的不断更新和技术的进步，预计将有更多创新性的研究成果涌现。