SpaceSense-Bench
收藏资源简介：
SpaceSense-Bench 是一个基于高保真模拟的多模态（RGB、深度、LiDAR点云）数据集，专注于航天器组件级别的语义理解。该数据集包含136个卫星模型，提供同步的多模态数据。数据模态包括RGB图像、深度图、语义分割掩码、LiDAR点云和6自由度位姿。图像分辨率为1024x1024，相机视场角为50度。语义类别包括7类：主体、太阳能板、碟形天线、全向天线、有效载荷、推进器和适配环。数据集采用Unreal Engine 5.2.0和AirSim 1.8.1进行模拟生成。数据组织上，训练集和验证集包含完全不重叠的卫星模型，以验证零样本泛化能力。数据集适用于目标检测、图像分割、深度估计和位姿估计等任务，遵循CC-BY-NC-4.0许可，仅限非商业用途。
SpaceSense-Bench is a high-fidelity simulation-based multimodal (RGB, depth, LiDAR point cloud) dataset focused on spacecraft component-level semantic understanding. It contains 136 satellite models and provides synchronized multimodal data. The supported data modalities include RGB images, depth maps, semantic segmentation masks, LiDAR point clouds, and 6-degree-of-freedom (6DoF) poses. The image resolution is 1024×1024, and the camera field of view (FOV) is 50 degrees. There are 7 semantic categories: main body, solar panels, dish antennas, omnidirectional antennas, payloads, thrusters, and adapter rings. This dataset is generated using Unreal Engine 5.2.0 and AirSim 1.8.1. In terms of data organization, the training and validation sets adopt completely non-overlapping satellite models to verify zero-shot generalization capability. It is applicable to tasks such as object detection, image segmentation, depth estimation and pose estimation, and follows the CC-BY-NC-4.0 license for non-commercial use only.
SpaceSense-Bench 数据集概述
基本信息
- 数据集名称: SpaceSense-Bench
- 许可证: CC-BY-NC-4.0 (仅限非商业用途)
- 数据规模: 10GB 至 100GB
- 任务类别: 目标检测、图像分割、深度估计、其他
- 标签: 太空、卫星、多模态、激光雷达、姿态估计
数据集简介
SpaceSense-Bench 是一个基于高保真仿真的多模态数据集，用于航天器组件级语义理解。它包含 136 个卫星模型 的同步多模态数据。
核心构成
| 项目 | 详情 |
|---|---|
| 卫星模型 | 136 个 (源自 NASA/ESA 3D 模型) |
| 数据模态 | RGB、深度、语义分割、激光雷达点云、6自由度姿态 |
| 图像分辨率 | 1024 x 1024 |
| 相机视场角 | 50 度 |
| 语义类别 | 7 类 (main_body, solar_panel, dish_antenna, omni_antenna, payload, thruster, adapter_ring) |
| 仿真平台 | Unreal Engine 5.2.0 + AirSim 1.8.1 |
数据模态详情
| 模态 | 格式 | 单位 / 范围 | 描述 |
|---|---|---|---|
| RGB | PNG (1024x1024) | 8位颜色 | 场景渲染 |
| 深度 | PNG (1024x1024) | int32，毫米 (0 ~ 10,000,000 mm，背景 = 10,000 m) | 逐像素深度图 |
| 语义分割 | PNG (1024x1024) | uint8，每像素类别ID (0 = 背景) | 组件级分割掩码 |
| 激光雷达点云 | ASC (每行 x y z) | 米，3位小数 | 稀疏3D点云 |
| 6自由度姿态 | CSV | 米 + 哈密顿四元数 (w,x,y,z) | 相机到目标的相对姿态 |
坐标系与单位
| 项目 | 约定 |
|---|---|
| 相机坐标系 | X向前，Y向右，Z向下 (右手系) |
| 世界坐标系 | AirSim NED，目标航天器固定在原点 |
| 四元数 | 哈密顿约定: w + xi + yj + zk |
| 欧拉角 | ZYX 内旋 (偏航-俯仰-滚转) |
| 位置 | 米 (m)，6位小数 |
| 深度图 | 毫米 (mm)，int32；深空背景 = 10,000 m |
| 激光雷达 | 米 (m)，.asc 格式 (x y z)，3位小数 |
| 时间戳 | YYYYMMDDHHMMSSmmm |
传感器配置
相机 (cam0)
- 分辨率: 1024 x 1024
- 视场角: 50 度
- 捕获图像类型: RGB (类型 0)、分割 (类型 5)、深度 (类型 2)
- TargetGamma: 1.0
激光雷达
- 量程: 300 m
- 通道数: 256
- 垂直视场角: -20 至 +20 度
- 水平视场角: -20 至 +20 度
- 数据帧: SensorLocalFrame
数据划分 (零样本 / 分布外)
训练集和验证集包含 完全不重叠的卫星模型，因此验证性能反映了对未见航天器的零样本泛化能力。
| 划分 | 卫星数量 | 规则 |
|---|---|---|
| 训练集 | 117 | 除验证集和排除集外的所有卫星 |
| 测试集 | 14 | 按索引每隔10个: seq 00, 10, 20, ..., 130 |
| 验证集 | 5 | Seq 131-135，保留用于未来测试 |
数据组织结构
raw/ 文件夹中的每个 .tar.gz 文件包含一个卫星的数据：
<timestamp>_<satellite_name>/ ├── approach_front/ │ ├── rgb/ # RGB 图像 (.png) │ ├── depth/ # 深度图 (.png, int32, mm) │ ├── segmentation/ # 语义掩码 (.png, uint8) │ ├── lidar/ # 点云 (.asc) │ └── poses.csv # 6自由度姿态 ├── approach_back/ ├── orbit_xy/ └── ...
语义类别定义
| 类别ID | 名称 | 描述 |
|---|---|---|
| 0 | background | 深空背景 |
| 1 | main_body | 航天器主体 / 平台 |
| 2 | solar_panel | 太阳能电池板 / 太阳翼 |
| 3 | dish_antenna | 碟形 / 抛物面天线 |
| 4 | omni_antenna | 全向天线 / 天线杆 |
| 5 | payload | 科学仪器 / 有效载荷 |
| 6 | thruster | 推进器 / 推进系统 |
| 7 | adapter_ring | 发射适配环 |
相关资源
- 项目主页: https://wuaodi.github.io/SpaceSense-Bench/
- 论文: https://huggingface.co/papers/2603.09320
- 工具包与代码: https://github.com/wuaodi/SpaceSense-Bench
引用
bibtex @article{SpaceSense-Bench, title={SpaceSense-Bench: A Large-Scale Multi-Modal Benchmark for Spacecraft Perception and Pose Estimation}, author={Aodi Wu, Jianhong Zuo, Zeyuan Zhao, Xubo Luo, Ruisuo Wang, Xue Wan}, year={2026}, url={https://arxiv.org/abs/2603.09320} }
