SpaceSense-Bench

SpaceSense-Bench 是一个基于高保真模拟的多模态（RGB、深度、LiDAR点云）数据集，专注于航天器组件级别的语义理解。该数据集包含136个卫星模型，提供同步的多模态数据。数据模态包括RGB图像、深度图、语义分割掩码、LiDAR点云和6自由度位姿。图像分辨率为1024x1024，相机视场角为50度。语义类别包括7类：主体、太阳能板、碟形天线、全向天线、有效载荷、推进器和适配环。数据集采用Unreal Engine 5.2.0和AirSim 1.8.1进行模拟生成。数据组织上，训练集和验证集包含完全不重叠的卫星模型，以验证零样本泛化能力。数据集适用于目标检测、图像分割、深度估计和位姿估计等任务，遵循CC-BY-NC-4.0许可，仅限非商业用途。

SpaceSense-Bench is a high-fidelity simulation-based multimodal (RGB, depth, LiDAR point cloud) dataset focused on spacecraft component-level semantic understanding. It contains 136 satellite models and provides synchronized multimodal data. The supported data modalities include RGB images, depth maps, semantic segmentation masks, LiDAR point clouds, and 6-degree-of-freedom (6DoF) poses. The image resolution is 1024×1024, and the camera field of view (FOV) is 50 degrees. There are 7 semantic categories: main body, solar panels, dish antennas, omnidirectional antennas, payloads, thrusters, and adapter rings. This dataset is generated using Unreal Engine 5.2.0 and AirSim 1.8.1. In terms of data organization, the training and validation sets adopt completely non-overlapping satellite models to verify zero-shot generalization capability. It is applicable to tasks such as object detection, image segmentation, depth estimation and pose estimation, and follows the CC-BY-NC-4.0 license for non-commercial use only.

原始信息汇总

SpaceSense-Bench 数据集概述

基本信息

• 数据集名称: SpaceSense-Bench
• 许可证: CC-BY-NC-4.0 (仅限非商业用途)
• 数据规模: 10GB 至 100GB
• 任务类别: 目标检测、图像分割、深度估计、其他
• 标签: 太空、卫星、多模态、激光雷达、姿态估计

数据集简介

SpaceSense-Bench 是一个基于高保真仿真的多模态数据集，用于航天器组件级语义理解。它包含 136 个卫星模型 的同步多模态数据。

核心构成

项目	详情
卫星模型	136 个 (源自 NASA/ESA 3D 模型)
数据模态	RGB、深度、语义分割、激光雷达点云、6自由度姿态
图像分辨率	1024 x 1024
相机视场角	50 度
语义类别	7 类 (main_body, solar_panel, dish_antenna, omni_antenna, payload, thruster, adapter_ring)
仿真平台	Unreal Engine 5.2.0 + AirSim 1.8.1

数据模态详情

模态	格式	单位 / 范围	描述
RGB	PNG (1024x1024)	8位颜色	场景渲染
深度	PNG (1024x1024)	int32，毫米 (0 ~ 10,000,000 mm，背景 = 10,000 m)	逐像素深度图
语义分割	PNG (1024x1024)	uint8，每像素类别ID (0 = 背景)	组件级分割掩码
激光雷达点云	ASC (每行 x y z)	米，3位小数	稀疏3D点云
6自由度姿态	CSV	米 + 哈密顿四元数 (w,x,y,z)	相机到目标的相对姿态

坐标系与单位

项目	约定
相机坐标系	X向前，Y向右，Z向下 (右手系)
世界坐标系	AirSim NED，目标航天器固定在原点
四元数	哈密顿约定: w + xi + yj + zk
欧拉角	ZYX 内旋 (偏航-俯仰-滚转)
位置	米 (m)，6位小数
深度图	毫米 (mm)，int32；深空背景 = 10,000 m
激光雷达	米 (m)，.asc 格式 (x y z)，3位小数
时间戳	YYYYMMDDHHMMSSmmm

传感器配置

相机 (cam0)

• 分辨率: 1024 x 1024
• 视场角: 50 度
• 捕获图像类型: RGB (类型 0)、分割 (类型 5)、深度 (类型 2)
• TargetGamma: 1.0

激光雷达

• 量程: 300 m
• 通道数: 256
• 垂直视场角: -20 至 +20 度
• 水平视场角: -20 至 +20 度
• 数据帧: SensorLocalFrame

数据划分 (零样本 / 分布外)

训练集和验证集包含 完全不重叠的卫星模型，因此验证性能反映了对未见航天器的零样本泛化能力。

划分	卫星数量	规则
训练集	117	除验证集和排除集外的所有卫星
测试集	14	按索引每隔10个: seq 00, 10, 20, ..., 130
验证集	5	Seq 131-135，保留用于未来测试

数据组织结构

raw/ 文件夹中的每个 .tar.gz 文件包含一个卫星的数据：

<timestamp>_<satellite_name>/ ├── approach_front/ │ ├── rgb/ # RGB 图像 (.png) │ ├── depth/ # 深度图 (.png, int32, mm) │ ├── segmentation/ # 语义掩码 (.png, uint8) │ ├── lidar/ # 点云 (.asc) │ └── poses.csv # 6自由度姿态 ├── approach_back/ ├── orbit_xy/ └── ...

语义类别定义

类别ID	名称	描述
0	background	深空背景
1	main_body	航天器主体 / 平台
2	solar_panel	太阳能电池板 / 太阳翼
3	dish_antenna	碟形 / 抛物面天线
4	omni_antenna	全向天线 / 天线杆
5	payload	科学仪器 / 有效载荷
6	thruster	推进器 / 推进系统
7	adapter_ring	发射适配环

相关资源

• 项目主页: https://wuaodi.github.io/SpaceSense-Bench/
• 论文: https://huggingface.co/papers/2603.09320
• 工具包与代码: https://github.com/wuaodi/SpaceSense-Bench

引用

bibtex @article{SpaceSense-Bench, title={SpaceSense-Bench: A Large-Scale Multi-Modal Benchmark for Spacecraft Perception and Pose Estimation}, author={Aodi Wu, Jianhong Zuo, Zeyuan Zhao, Xubo Luo, Ruisuo Wang, Xue Wan}, year={2026}, url={https://arxiv.org/abs/2603.09320} }

搜集汇总

数据集介绍

构建方式

在航天器感知与姿态估计领域，SpaceSense-Bench数据集通过高保真仿真技术构建，其基础源自美国国家航空航天局与欧洲空间局提供的136个卫星三维模型。利用Unreal Engine 5.2.0与AirSim 1.8.1仿真平台，生成了同步的多模态数据，包括RGB图像、深度图、语义分割掩码、激光雷达点云及六自由度姿态信息。数据采集模拟了多种观测场景，如逼近飞行与轨道运动，确保了场景的多样性与真实性。

特点

该数据集的核心特征在于其多模态协同与零样本泛化设计。它提供了分辨率达1024×1024的RGB、深度及语义分割图像，并辅以米级精度的激光雷达点云与姿态参数。语义标注涵盖航天器主体、太阳能板、天线等七类关键部件，支持细粒度组件级理解。数据划分采用卫星模型完全隔离的策略，训练集与验证集之间无重叠模型，从而有效评估算法对未知航天器的泛化能力。

使用方法

借助配套的SpaceSense-Toolkit工具包，用户可便捷地进行数据转换与可视化操作。原始数据可通过脚本转换为Semantic-KITTI、MMSegmentation及YOLO等标准格式，适配三维分割、二维分割与目标检测等任务。数据以按卫星打包的压缩文件形式组织，各目录包含多视角的子文件夹，并配有详细的姿态与时间戳文件，便于直接加载或进一步预处理。

背景与挑战

背景概述

在航天器在轨服务、空间碎片清理等前沿空间任务中，对非合作航天器进行精确的感知与位姿估计是保障任务安全与成功的关键技术。为应对真实空间数据获取成本高昂且风险巨大的挑战，由研究人员Aodi Wu等人于2026年创建的SpaceSense-Bench数据集应运而生。该数据集基于NASA/ESA的136个真实卫星三维模型，利用Unreal Engine 5与AirSim构建了高保真的多模态仿真环境，同步提供RGB图像、深度图、语义分割、激光雷达点云及六自由度位姿数据。其核心研究目标在于推动航天器部件级语义理解与位姿估计算法的零样本泛化能力，为空间人工智能研究提供了首个大规模、多模态的基准测试平台，显著促进了相关领域从仿真到实际应用的算法验证与性能评估。

当前挑战

SpaceSense-Bench旨在解决的领域挑战主要集中于非合作航天器的自主感知与操作。具体而言，航天器在复杂光照、剧烈相对运动及部件遮挡条件下的鲁棒性部件识别与精确六自由度位姿估计，是空间近距离操作中的核心难题。该数据集通过严格的零样本划分，要求模型能够泛化至训练阶段从未见过的卫星构型，这对算法的泛化能力提出了极高要求。在构建过程中，挑战同样显著：如何从NASA/ESA的异构三维模型中提取并统一语义部件标注，确保七类关键部件（如主舱体、太阳能板、天线等）标注的一致性；在仿真环境中如何高保真地复现空间光照条件、传感器噪声以及多模态数据（尤其是深度图与激光雷达点云）的精确同步，以逼近真实空间感知的物理特性。

常用场景

经典使用场景

在航天器感知与姿态估计领域，SpaceSense-Bench数据集为多模态视觉任务提供了标准化的评估基准。其经典使用场景集中于零样本泛化能力的验证，通过训练集与验证集卫星模型的严格分离，研究者能够评估算法在未见航天器上的组件级语义分割、目标检测及深度估计性能。该数据集支持从RGB图像、深度图到LiDAR点云的多模态输入，常用于开发与测试先进的计算机视觉模型，以应对太空环境中复杂的光照条件与目标多样性挑战。

实际应用

在实际应用层面，SpaceSense-Bench直接服务于航天工程中的自主交会对接、在轨维护与太空态势感知任务。例如，利用其多模态数据训练的模型可应用于卫星故障诊断、组件识别与相对导航系统，提升空间机器人对目标航天器的实时感知精度。该数据集还能为地面仿真测试提供丰富场景，降低真实太空任务的风险与成本，助力下一代智能航天系统的研发与验证。

衍生相关工作

围绕该数据集已衍生出多项经典研究工作，主要集中在多模态融合网络、零样本分割与姿态估计算法的创新。例如，研究者利用其LiDAR点云与RGB图像的互补性，开发了跨模态特征提取架构；基于组件级语义标签，提出了针对航天器异形结构的细分识别模型。这些工作不仅推动了SpaceSense-Bench在学术社区的广泛采用，还促进了相关工具链（如与MMSegmentation、YOLO等框架的兼容）的完善，形成了持续迭代的研究生态。