LuSNAR

LuSNAR数据集由中国科学院空间应用工程与技术中心和中国科学院空间利用重点实验室创建，是一个多任务、多场景的月球表面数据集。该数据集包含9个基于Unreal Engine的模拟月球场景，每个场景根据地形起伏和物体密度划分，提供了高分辨率的立体图像对、全景语义标签、深度图、点云等数据。数据集的创建旨在支持环境感知和导航算法的开发与验证，适用于2D和3D语义分割、视觉SLAM、LiDAR SLAM、立体匹配和3D重建等任务。LuSNAR数据集的应用领域主要集中在月球探索的自主感知和导航技术，旨在提高月球探测任务的安全性和效率。

The LuSNAR dataset, developed by the Center for Space Applied Engineering and Technology of the Chinese Academy of Sciences and the Key Laboratory of Space Utilization of the Chinese Academy of Sciences, is a multi-task, multi-scenario lunar surface dataset. It includes 9 Unreal Engine-based simulated lunar scenes, each classified according to terrain undulation and object density, and provides high-resolution stereo image pairs, panoramic semantic labels, depth maps, point clouds and other data. The dataset is designed to support the development and validation of environment perception and navigation algorithms, and is suitable for tasks such as 2D and 3D semantic segmentation, visual SLAM, LiDAR SLAM, stereo matching and 3D reconstruction. The application fields of the LuSNAR dataset mainly focus on autonomous perception and navigation technologies for lunar exploration, aiming to improve the safety and efficiency of lunar exploration missions.

原始信息汇总

LuSNAR 数据集

简介

LuSNAR 数据集是一个基于多传感器（立体相机、激光雷达、IMU）的月球分割、导航和重建数据集，用于自主探索。该数据集包含 9 个基于 Unreal Engine 的月球模拟场景，每个场景根据地形起伏和物体密度进行划分。

数据内容

LuSNAR 数据集包括：

• 高分辨率立体图像对
• 全景语义标签
• 密集深度图
• 激光雷达点云
• IMU 数据
• 漫游车姿态数据

应用场景

该数据集可用于全面评估自主感知和导航系统，包括：

• 2D/3D 语义分割
• 视觉/激光雷达 SLAM
• 3D 重建

可用性

LuSNAR 数据集总大小为 108GB，包含：

• 42GB 的立体图像对
• 50GB 的深度图
• 356MB 的语义分割标签
• 14GB 的单帧点云数据（带语义信息）

数据集结构如下： plaintext ├── image1 │ ├── RGB │ │ ├── timestamp1.png │ │ ├── timestamp2.png │ │ └── ... │ ├── Depth │ │ ├── timestamp1.png │ │ ├── timestamp2.png │ │ └── ... │ └── Label │ ├── timestamp1.png │ ├── timestamp2.png │ └── ... ├── image2 │ ├── RGB │ │ ├── timestamp1.png │ │ ├── timestamp2.png │ │ └── ... │ ├── Depth │ │ ├── timestamp1.png │ │ ├── timestamp2.png │ │ └── ... │ └── Label │ ├── timestamp1.png │ ├── timestamp2.png │ └── ... ├── LiDAR │ ├── timestamp1.txt │ ├── timestamp2.txt │ └── ... ├── Rover_pose.txt └── IMU.txt

语义图像中颜色与类别编号的对应关系如下：

类别编号	类别	颜色
0	月球风化层	BB469C
1	撞击坑	7800C8
2	岩石	E8FA50
3	山脉	AD451F
4	天空	22C9F8

激光雷达点云数据中类别编号与类别的对应关系如下：

类别编号	类别
-1	月球风化层
0	撞击坑
174	岩石

文件格式

LiDAR/timestamp.txt

plaintext | x [m] | y [m] | z [m] | 类别编号 |

Rover_pose.txt

plaintext | 时间戳 [ns] | p_RS_R_x [m] | p_RS_R_y [m] | p_RS_R_z [m] | q_RS_w [] | q_RS_x [] | q_RS_y [] | q_RS_z [] | v_RS_R_x [m s^-1] | v_RS_R_y [m s^-1] | v_RS_R_z [m s^-1] | b_w_RS_S_x [rad s^-1] | b_w_RS_S_y [rad s^-1] | b_w_RS_S_z [rad s^-1] | b_a_RS_S_x [m s^-2] | b_a_RS_S_y [m s^-2] | b_a_RS_S_z [m s^-2] |

IMU.txt

plaintext | 时间戳 [ns] | w_RS_S_x [rad s^-1] | w_RS_S_y [rad s^-1] | w_RS_S_z [rad s^-1] | a_RS_S_x [m s^-2] | a_RS_S_y [m s^-2] | a_RS_S_z [m s^-2] |

搜集汇总

数据集介绍

构建方式

LuSNAR数据集通过基于Unreal Engine 4的模拟引擎构建，设计了9个具有不同地形起伏和物体密度的月球表面场景。每个场景根据地形特征和物体分布进行细分，以覆盖多种月球表面类型。数据集包括高分辨率立体图像对、全景语义标签、密集深度图、LiDAR点云以及月球车的位置信息。通过模拟引擎，生成了可靠且高精度的地面真值标签，包括深度、2D语义掩码、3D语义标签、轨迹和场景的3D点云。

使用方法

LuSNAR数据集可用于验证和开发月球车自主环境感知和导航算法。用户可以通过访问提供的GitHub链接下载数据集，并使用其中的多模态数据进行算法训练和测试。数据集支持多种任务，包括2D和3D语义分割、视觉和LiDAR SLAM、立体匹配和3D重建。通过使用高精度的地面真值标签，研究人员可以评估和优化算法的性能，推动月球车自主探索技术的发展。

背景与挑战

背景概述

随着月球探测任务的复杂性增加，月球探测器需要更高水平的自主能力。环境感知和导航算法是实现月球探测器自主探索的基础。算法的发展和验证需要高度可靠的数据支持。现有的月球数据集大多针对单一任务，缺乏多样化的场景和高精度的地面真值标签。为了解决这一问题，我们提出了一个多任务、多场景、多标签的月球基准数据集LuSNAR。该数据集可用于全面评估自主感知和导航系统，包括高分辨率立体图像对、全景语义标签、密集深度图、LiDAR点云和探测器位置。为了提供更丰富的场景数据，我们基于Unreal Engine构建了9个月球模拟场景。每个场景根据地形起伏和物体密度进行划分。为了验证数据集的可用性，我们评估和分析了语义分割、3D重建和自主导航算法。实验结果证明，本文提出的数据集可用于自主环境感知和导航任务的地面验证，并为算法指标的测试提供了月球基准数据集。

当前挑战

LuSNAR数据集在构建过程中面临多个挑战。首先，解决领域问题的挑战在于如何提供多样化的场景和高精度的地面真值标签，以支持多任务的全面评估。其次，构建过程中遇到的挑战包括如何模拟真实的月球环境，确保数据的多样性和真实性。此外，数据集需要覆盖不同的地形和地貌，以提高算法的泛化能力。最后，收集大量高质量的地面真值标签也是一个挑战，因为实际传感器捕获的地面真值数据在户外环境中可靠性较差。

常用场景

经典使用场景

LuSNAR数据集在月球自主探索领域中具有经典应用场景，主要用于验证和开发环境感知与导航算法。该数据集通过提供高分辨率立体图像对、全景语义标签、密集深度图、LiDAR点云以及月球车位置信息，支持2D和3D语义分割、视觉SLAM、LiDAR SLAM、立体匹配和3D重建等多任务评估。这些任务的协同执行对于确保月球车在复杂环境中的安全与高效导航至关重要。

解决学术问题

LuSNAR数据集解决了现有月球数据集在场景多样性和高精度地面真值标签方面的不足，为学术研究提供了坚实的基础。通过模拟多种月球表面场景，该数据集能够全面评估自主感知和导航系统的性能，推动了深度学习算法在月球环境中的应用。此外，LuSNAR还为算法在不同地形和地貌条件下的泛化能力提供了测试平台，有助于提升月球车在未知环境中的适应性。

实际应用

在实际应用中，LuSNAR数据集为月球车的自主导航和环境感知提供了可靠的数据支持。通过模拟多种月球表面场景，该数据集帮助开发和验证导航算法，确保月球车在复杂地形中的安全行驶。此外，LuSNAR还支持3D重建任务，为路径规划和障碍物规避提供了精确的地形信息，从而提升了月球探索任务的效率和安全性。

数据集最近研究

最新研究方向

在月球探索任务日益复杂的背景下，LuSNAR数据集的最新研究方向主要集中在提升月球探测车的自主感知和导航能力。该数据集通过模拟引擎生成了多任务、多场景和多标签的月球表面数据，支持高分辨率立体图像对、全景语义标签、密集深度图、LiDAR点云和探测车位置等多种数据类型的综合评估。前沿研究利用LuSNAR数据集验证和开发了语义分割、3D重建和自主导航算法，特别是在复杂地形和物体密度变化条件下的算法性能。这些研究不仅提升了算法的鲁棒性和准确性，还为未来月球探测任务中的自主环境感知和导航系统提供了坚实的基础。

相关研究论文

• LuSNAR:A Lunar Segmentation, Navigation and Reconstruction Dataset based on Muti-sensor for Autonomous Exploration

  中国科学院空间应用工程与技术中心，中国科学院空间利用重点实验室 · 2024年