Vision Based Navigation Datasets

Vision Based Navigation Datasets是由欧洲空间局主导，空客防务与空间公司参与创建的数据集，旨在支持基于视觉的导航技术在航天领域的应用。该数据集包含多个子集，涵盖了从月球着陆到人造卫星对接等多种场景，总计超过13万条数据。数据集的创建过程结合了真实图像、实验室模拟和合成图像，确保了数据的多源性和高质量。这些数据集主要用于训练机器学习算法，特别是在姿态估计和光学流算法方面，以解决航天器导航中的精确控制问题。Led by the European Space Agency (ESA) and co-developed with Airbus Defence and Space, the Vision Based Navigation Datasets are a collection of datasets created to support the application of vision-based navigation technologies in the aerospace field. This collection encompasses multiple subsets covering a wide array of scenarios, from lunar landings to artificial satellite docking, with a total of over 130,000 data entries. The development of these datasets integrates real-world images, laboratory simulations, and synthetic imagery to ensure their multi-source nature and high quality. They are primarily utilized for training machine learning algorithms, especially those focused on pose estimation and optical flow, to resolve precision control challenges in spacecraft navigation.

搜集汇总

数据集介绍

构建方式

Vision Based Navigation Datasets的构建方式融合了多种数据源，包括真实图像、实验室模拟和合成图像。首先，利用Chang’e 3着陆器的导航相机图像作为基础数据，通过PDS标准格式化，并逆向推导出估计的轨迹。其次，利用SurRender软件进行高保真图像模拟，结合多分辨率地形模型和元数据生成合成数据。此外，DLR TRON设施的实验室模拟和Airbus Robotic实验室的实验数据也被纳入，确保数据的多样性和真实性。最后，通过生成对抗网络（GAN）将低分辨率合成图像转换为高分辨率图像，进一步丰富数据集的多样性。

特点

Vision Based Navigation Datasets的特点在于其数据来源的多样性和高保真度。数据集不仅包含真实的Chang’e 3图像，还包括实验室模拟和合成图像，确保了数据的多维度覆盖。此外，通过SurRender软件生成的高保真图像模拟，结合多分辨率地形模型和元数据，使得数据集在视觉和物理特性上具有高度一致性。生成对抗网络（GAN）的应用进一步提升了图像质量，使得数据集在训练机器学习算法时具有更高的适用性和准确性。

使用方法

Vision Based Navigation Datasets的使用方法多样，适用于多种视觉导航算法的训练和验证。首先，数据集可以直接用于训练基于卷积神经网络（CNN）的姿态估计算法，通过对比预测的热图与地面真实值，评估算法的性能。其次，数据集也可用于训练密集光流算法，如RAFT，通过光学流端点误差（EPE）等指标评估算法在不同数据集上的表现。此外，数据集还可用于生成对抗网络（GAN）的训练，通过将低分辨率合成图像转换为高分辨率图像，提升图像质量和数据集的多样性。

背景与挑战

背景概述

视觉导航数据集（Vision Based Navigation Datasets）是由Airbus Defence and Space与欧洲航天局（ESA）合作开发，旨在解决基于视觉的导航（VBN）在航天应用中的关键问题。该项目始于2022年6月，持续至2023年12月，主要研究人员包括Jérémy Lebreton、Ingo Ahrns等，涵盖了Airbus Toulouse、Airbus Bremen以及DLR等机构。核心研究问题是如何生成适用于机器学习算法的训练数据集，以验证和提升VBN算法的性能。该数据集的创建不仅推动了航天领域中机器学习的应用，还为未来的空间任务提供了重要的技术支持。

当前挑战

视觉导航数据集在构建过程中面临多项挑战。首先，生成高质量的合成数据集需要精确的模拟工具和复杂的图像处理技术，如SurRender软件的使用。其次，确保合成数据与真实数据之间的准确性和一致性是一个重大难题，尤其是在处理如月球着陆和卫星对接等复杂场景时。此外，数据集的多样性和覆盖范围也是一个挑战，需要涵盖不同的光照条件、视角和动态环境。最后，如何有效地利用生成对抗网络（GAN）等先进技术来提升数据集的质量和真实感，同时保持计算效率，也是当前研究的重点。

常用场景

经典使用场景

Vision Based Navigation Datasets（基于视觉的导航数据集）在航天领域中被广泛用于训练机器学习算法，特别是在视觉导航和控制（GNC）方面。该数据集的经典使用场景包括两个主要案例：一是卫星在轨对接，使用ENVISAT卫星的模拟数据；二是月球着陆场景，利用嫦娥三号（Chang’e 3）的真实图像和合成数据。这些数据集通过高保真图像模拟器SurRender生成，结合了真实图像和合成图像，以确保训练数据的多样性和准确性。

衍生相关工作

Vision Based Navigation Datasets的开发和应用催生了一系列相关研究工作。例如，基于该数据集，研究者们开发了多种深度学习模型，用于姿态估计和光学流计算。此外，生成对抗网络（GAN）在该数据集上的应用，展示了如何将低分辨率合成图像转换为高分辨率真实图像，进一步提升了数据集的质量和应用范围。这些衍生工作不仅丰富了视觉导航领域的研究内容，也为未来的航天任务提供了技术储备。

数据集最近研究

最新研究方向

在视觉导航领域，基于视觉的导航数据集（Vision Based Navigation Datasets）的最新研究方向主要集中在利用合成数据和真实数据相结合的方法，以提高机器学习算法在空间应用中的性能。研究团队通过生成高保真度的合成图像和元数据，结合生成对抗网络（GANs）和模型捕捉技术，致力于解决空间导航中数据集不足的问题。这些研究不仅推动了视觉导航算法的发展，还为未来空间任务中的自主导航提供了坚实的基础。

相关研究论文

• Training Datasets Generation for Machine Learning: Application to Vision Based Navigation

  欧洲空间局 · 2024年