SpaceSense-Bench

SpaceSense-Bench是一个大规模多模态（RGB、深度、LiDAR）基准数据集，专为自主空间操作（如轨道服务和主动碎片清除）中的航天器感知和姿态估计而设计。数据集包含136个卫星模型，每个模型大约有70 GB的数据。每帧提供时间同步的1024×1024 RGB图像、毫米级精度深度图和256束LiDAR点云，以及密集的7类部分级语义标签（像素和点级别）和准确的6自由度姿态地面真值。数据集通过Unreal Engine 5中的高保真空间模拟和全自动流水线生成，覆盖数据采集、多阶段质量控制和转换为主流格式。SpaceSense-Bench is a large-scale multimodal (RGB, depth, LiDAR) benchmark dataset specifically designed for spacecraft perception and pose estimation tasks in autonomous space operations such as orbital servicing and active debris removal. The dataset contains 136 satellite models, with approximately 70 GB of data per model. Each frame provides time-synchronized 1024×1024 RGB images, millimeter-precision depth maps, 256-beam LiDAR point clouds, as well as dense 7-class part-level semantic labels at both pixel-level and point-level, and accurate 6-degree-of-freedom (6DoF) pose ground truth. The dataset is generated via a high-fidelity space simulation pipeline built on Unreal Engine 5 and a fully automated workflow that covers data acquisition, multi-stage quality control, and conversion to mainstream data formats.

原始信息汇总

SpaceSense-Bench 数据集概述

基本信息

• 数据集名称：SpaceSense-Bench
• 核心用途：为自主空间操作（如在轨服务和主动碎片清除）中的航天器感知与姿态估计提供基准。
• 当前状态：相关论文《SpaceSense-Bench: A Large-Scale Multi-Modal Benchmark for Spacecraft Perception and Pose Estimation》正在 IROS 2026 评审中。

数据规模与内容

• 卫星模型数量：136个。
• 数据总量：约70 GB。
• 数据模态：提供时间同步的多模态数据。
  • RGB图像：分辨率为1024×1024。
  • 深度图：具有毫米级精度。
  • LiDAR点云：256线束。
• 标注信息：
  • 语义标签：密集的7类别部件级语义标签，覆盖像素级和点级。
  • 姿态真值：精确的6自由度姿态地面真值。

数据生成与处理

• 仿真环境：基于Unreal Engine 5构建的高保真空间仿真环境。
• 生成流程：采用自动化流水线，涵盖数据采集、多阶段质量控制以及转换为主流格式。

支持的基准任务

数据集支持对以下航天器感知任务进行评估：

• 目标检测
• 2D语义分割
• RGB-LiDAR融合3D点云分割
• 单目深度估计
• 朝向估计

关键研究发现

基于该数据集的基准测试揭示了两个关键发现：

1. 当前方法在感知推力器和全向天线等小尺度部件方面仍存在困难。
2. 对完全未见过的航天器进行零样本泛化仍然是一个主要挑战。
3. 增加训练卫星的数量和多样性，能够显著提升模型在新目标上的性能。

数据获取与引用

• 发布计划：当前仓库主要包含项目主页。论文、基准数据等资源的链接将在评审流程结束后更新。
• 引用格式： bibtex @inproceedings{wu2026spacesensebench, title={SpaceSense-Bench: A Large-Scale Multi-Modal Benchmark for Spacecraft Perception and Pose Estimation}, author={Wu, Aodi and Zuo, Jianhong and Zhao, Zeyuan and Luo, Xubo and Wang, Ruisuo and Wan, Xue}, booktitle={IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)}, year={2026}, note={Under review}, url={https://github.com/wuaodi/SpaceSense-Bench} }

搜集汇总

数据集介绍

构建方式

在航天器自主操作领域，真实轨道数据的获取成本高昂且风险巨大，SpaceSense-Bench数据集通过高保真仿真技术构建，以弥补这一空白。该数据集基于虚幻引擎5搭建的高精度空间模拟环境，集成了自动化的数据采集、多阶段质量控制与格式转换流程。涵盖136个卫星模型，生成约70GB的多模态数据，每帧均包含时间同步的1024×1024 RGB图像、毫米级深度图及256线激光雷达点云，同时提供像素级与点级的七类部件语义标签以及六自由度姿态真值，确保了数据的多样性与标注完整性。

特点

SpaceSense-Bench作为大规模多模态基准数据集，其核心特点在于深度融合视觉与几何感知信息，以支持复杂的航天器环境理解。数据集不仅提供高分辨率RGB图像与精密深度映射，还包含密集的激光雷达点云，实现了多传感器数据的严格同步。七类部件级语义标注覆盖推力器、全向天线等关键组件，有助于细粒度部件识别；而毫米级精度的姿态真值则为相对导航与位姿估计任务提供了可靠依据。这些特征共同构成了一个全面且逼真的空间感知评估平台。

使用方法

该数据集适用于航天器感知与位姿估计的多种任务评估，包括目标检测、二维语义分割、RGB-激光雷达融合三维点云分割、单目深度估计及姿态估计。研究人员可依据任务需求，调用同步的多模态数据流进行模型训练与验证；通过分析不同卫星模型间的泛化性能，尤其关注零样本场景下对小尺度部件的识别能力，以推动算法在未知航天器上的适应性。数据集采用主流格式存储，便于集成至现有机器学习框架，为空间自主操作研究提供标准化基准。

背景与挑战

背景概述

随着自主空间操作如在轨服务与主动碎片清除的快速发展，对目标航天器进行鲁棒的部件级语义理解与精确相对导航成为关键技术需求。然而，在轨获取大规模真实数据成本高昂，现有合成数据集又受限于目标多样性不足、传感模态单一以及标注信息不完整。为填补这一空白，中国科学院大学、中国科学院空间应用工程与技术中心及南京航空航天大学的研究团队于2026年提出了SpaceSense-Bench，这是一个面向航天器感知与姿态估计的大规模多模态基准数据集。该数据集包含136个卫星模型，约70GB数据，提供时间同步的高分辨率RGB图像、毫米级精度深度图、256线激光雷达点云，以及密集的7类部件级语义标注与6自由度姿态真值，旨在推动空间感知算法的进步，并为相关领域研究提供重要资源。

当前挑战

在航天器感知领域，核心挑战在于对微小部件如推进器与全向天线的准确识别，以及在零样本设置下对全新航天器模型的泛化能力，现有方法在这些方面仍存在显著瓶颈。数据集构建过程中，研究团队需克服高保真空间模拟环境的创建难题，利用Unreal Engine 5实现逼真的物理与光学渲染，同时设计自动化流水线以确保多模态数据采集、多阶段质量控制与主流格式转换的可靠性与一致性，从而应对真实空间数据稀缺带来的标注与验证困难。

常用场景

经典使用场景

在自主空间操作领域，如轨道服务和主动碎片清除，SpaceSense-Bench数据集为航天器感知与姿态估计提供了经典的多模态基准测试场景。该数据集通过高保真空间仿真环境生成，涵盖136个卫星模型，提供时间同步的RGB图像、毫米级深度图和LiDAR点云，支持对象检测、2D语义分割、RGB-LiDAR融合3D点云分割、单目深度估计及方向估计等任务，为算法在复杂空间环境中的鲁棒性评估奠定了坚实基础。

实际应用

在实际应用中，SpaceSense-Bench数据集为航天器在轨服务、主动碎片清除等任务中的自主导航与操作提供了可靠的数据支持。其多模态数据（包括RGB图像、深度图和LiDAR点云）能够模拟真实空间环境中的感知需求，帮助开发鲁棒的视觉算法，用于航天器部件识别、相对姿态估计和环境理解，从而提升空间任务的自动化水平和安全性，降低对人工干预的依赖。

衍生相关工作

基于SpaceSense-Bench数据集，衍生了一系列经典研究工作，主要集中在多模态融合感知、零样本泛化算法和小尺度部件检测等领域。这些工作利用数据集的大规模多样性和完整标注，探索了RGB与LiDAR数据融合的3D分割方法、针对未见航天器的迁移学习策略，以及提升推进器、天线等精细部件识别精度的技术，推动了空间机器人视觉系统的前沿发展，并为后续基准测试和算法优化提供了重要参考。