MineNavi

MineNavi数据集是由四川大学宇航科学与技术学院创建的合成数据集，专门用于飞机视觉导航中的单目深度估计。该数据集包含超过50,000个图像序列，覆盖了从0.1米到576米的深度范围，并根据不同的着色器、光照条件、相机运动和图像质量进行分类。数据集的创建过程涉及地图加载、相机移动路径设置、着色器和光照条件设置以及地面实况获取。MineNavi数据集的应用领域主要集中在解决飞机导航中的深度估计问题，通过模拟真实世界的环境和条件，提高深度估计模型的准确性和鲁棒性。

The MineNavi dataset is a synthetic dataset created by the School of Astronautical Science and Technology, Sichuan University, specifically designed for monocular depth estimation in aircraft visual navigation. This dataset contains over 50,000 image sequences, covering a depth range from 0.1 meters to 576 meters, and is categorized based on different shaders, lighting conditions, camera motions and image qualities. The dataset creation process involves map loading, camera movement path configuration, shader and lighting condition setting, as well as ground truth acquisition. The MineNavi dataset is mainly applied to solve depth estimation problems in aircraft navigation, simulating real-world environments and conditions to enhance the accuracy and robustness of depth estimation models.

搜集汇总

数据集介绍

构建方式

在航空视觉导航这一极具挑战性的领域，深度估计模型的性能高度依赖于大规模、高精度的标注数据，然而真实场景中的像素级深度标注几乎不可行。为突破这一瓶颈，MineNavi数据集基于Minecraft虚拟世界构建，通过四个关键步骤实现高效生成：地图加载、相机运动路径设定、着色器与光照条件配置，以及地面真值获取。研究团队利用Aperture工具设置关键点并插值生成连续6自由度相机轨迹，同时借助DepthMap与SurfMap渲染插件导出与图像序列精确对齐的密集深度图与表面法线图。该生成方法可灵活调整场景结构、光照、纹理及运动模式等参数，以极低的成本产出无限定制的合成数据。

使用方法

MineNavi数据集的使用方法灵活多样，既可作为预训练数据提升模型在真实场景中的泛化能力，也可作为分析工具探究数据属性对模型性能的因果效应。在预训练中，研究者可将MineNavi作为中间域，对monodepth2及其变体（如3D编码器版本）进行预训练，随后在KITTI或FPV等真实数据集上微调，实验表明该方法能加速模型收敛并提升精度。在分析层面，通过固定其他变量、仅改变单一数据因子（如光照或运动模糊），可定量评估该因子对深度估计指标（如AbsRel、δ1）的影响，从而指导真实数据集的构建策略。代码与生成工具均已开源，便于用户复现与扩展。

背景与挑战

背景概述

在深度学习驱动的计算机视觉任务中，密集估计任务如深度估计对大规模标注数据的需求极为迫切，然而真实世界的数据采集与人工标注不仅成本高昂，且在某些场景下几乎不可行，例如航空器视觉导航中的像素级深度标注。为突破这一瓶颈，Wang Xiangtong、Liang Binbin、Yang Menglong及Li Wei等研究者于2022年提出了MineNavi数据集，该数据集基于Minecraft虚拟世界构建，通过数字仿真技术生成大规模、可扩展的合成数据，旨在为单目深度估计提供高质量的密集深度图、表面法向量及相机六自由度位姿。MineNavi的出现填补了航空导航场景下大规模深度估计数据集的空白，其灵活的生成方法允许自定义光照、纹理、运动模式等参数，为研究数据集因素对深度估计模型的影响提供了理想平台，显著推动了合成数据在密集预测任务中的应用与泛化能力研究。

当前挑战

MineNavi数据集所面临的核心挑战体现在两个层面。首先，在领域问题层面，单目深度估计本身是一个病态问题，从单张二维图像恢复三维场景结构需要依赖先验知识，而合成数据与真实世界之间存在显著的域间隙，导致模型在真实场景中的泛化能力受限；此外，航空导航场景中动态物体、复杂光照及相机自运动等因素进一步加剧了深度估计的不确定性。其次，在数据集构建过程中，挑战包括：如何在Minecraft的方块化世界中模拟大规模、高保真的自然环境以逼近真实航空场景；如何量化并控制相机运动路径（如准轴率λ）以生成多样化的运动模式；以及如何通过域随机化策略（如多光照条件、着色器切换）缩小合成域与目标域之间的差异，同时避免因数据多样性不足导致的模型过拟合。

常用场景

经典使用场景

MineNavi数据集专为航空器视觉导航中的单目深度估计任务而设计，其核心应用场景在于为大规模、高动态的航空视角环境提供精确的深度真值。该数据集通过Minecraft虚拟世界构建，模拟了飞机在广阔地形（如山脉、森林、城市）上空的飞行视角，涵盖了超过576米的深度范围。研究者可借助该数据集训练和评估深度估计模型在复杂光照、天气及运动模式下的性能，尤其适用于需要密集深度标注但现实采集成本高昂或不可行的场景，如无人机自主导航与避障。

解决学术问题

该数据集解决了深度估计领域长期面临的标注数据匮乏与获取成本高昂的学术难题。传统方法依赖手工标注，难以获得像素级精确的深度图，尤其在航空导航等大规模场景中几乎不可行。MineNavi通过合成数据生成方法，提供了可扩展、低成本且带有精确深度、表面法向量及六自由度相机位姿的标注数据，显著降低了数据获取门槛。研究证明，在该数据集上预训练可提升模型在真实场景（如KITTI）上的泛化能力并加速收敛，为跨域迁移学习与域随机化策略提供了可靠的中间域支撑。

实际应用

在实际应用中，MineNavi数据集主要用于航空器视觉导航系统的开发与验证，涵盖无人机自主飞行、地形测绘及紧急避障等场景。通过模拟不同光照（晨昏、正午、雨夜）、渲染质量及相机运动模式（直线、盘旋、圆形轨迹），该数据集帮助工程师测试深度估计模型在极端环境下的鲁棒性。例如，训练后的模型可部署于FPV（第一人称视角）无人机，实时解析周围三维结构，实现安全飞行路径规划。此外，其模块化生成方法允许用户快速定制特定场景，适配农业监测、搜救等定制化需求。

数据集最近研究

最新研究方向

在计算机视觉领域，深度估计任务长期受限于真实标注数据的匮乏与采集成本的高昂，尤其在大尺度航空导航场景中，像素级稠密深度标签的获取几乎不可行。MineNavi数据集通过构建基于Minecraft的可扩展合成数据生成框架，实现了对大规模场景中光照条件、运动模式、渲染质量等多维因素的精细控制与解耦分析。当前前沿研究聚焦于利用该数据集探索合成数据与真实数据之间的域适应与泛化机制，特别是通过域随机化策略弥合虚拟与现实的表征鸿沟。实验表明，MineNavi作为中间域进行预训练，不仅能显著加速模型在真实场景上的收敛速度，还能揭示相机自运动轨迹、动态模糊程度及纹理复杂度对单目深度估计性能的深层影响。这一工作为理解数据内在属性如何塑造模型行为提供了全新视角，也为航空导航等极端环境下的视觉感知任务开辟了低成本、高质量的数据支撑路径。

相关研究论文

• Exploring the Impacts from Datasets to Monocular Depth Estimation (MDE) Models with MineNavi

  四川大学宇航科学与技术学院 · 2022年