SWiM-SpacecraftWithMasks

SWiM是一个大型实例分割数据集，包含近64k张注释的宇宙飞船图像。这些图像使用真实的宇宙飞船模型，并叠加在由NASA的TTALOS管道生成的真实和合成背景上。为了模拟现实世界图像采集中的摄像头失真和噪声，图像中还添加了不同类型的噪声和失真。该数据集适合用于YOLO和分割应用，并被设计为分块结构以符合Hugging Face的文件限制。

SWiM is a large-scale instance segmentation dataset containing nearly 64,000 annotated spacecraft images. These images utilize real spacecraft models and are overlaid on both real and synthetic backgrounds generated by NASA's TTALOS pipeline. To simulate camera distortions and noise encountered in real-world image acquisition, various types of noise and distortions are added to the images. This dataset is suitable for YOLO and segmentation applications, and is designed with a chunked structure to comply with Hugging Face's file size restrictions.

原始信息汇总

SWiM: Spacecraft With Masks 数据集概述

数据集基本信息

• 许可证: Apache-2.0
• 标签: 图像、分割、太空
• 名称: SWiM: Spacecraft With Masks (Instance Segmentation)
• 数据规模: 1K<n<1M
• 任务类别: 图像分割
• 任务ID: 实例分割
• 标注来源: 机器生成、专家生成

数据集摘要

• 图像数量: 63,917张
• 标注类型: 实例分割掩码
• 应用场景: 适用于YOLO和分割应用
• 背景: 使用真实航天器模型叠加在真实和合成背景上生成，合成背景使用NASA的TTALOS流程生成
• 图像处理: 添加了不同类型的噪声和失真以模拟真实世界图像采集

目录结构

• 分块存储: 由于Hugging Face Hub的每个目录文件限制（10,000个文件），数据集被分块存储

• 示例结构:

  Baseline ├──train/ ├──images/ ├── 000/ │ ├── img_0.png │ └── ... ├── 001/ └── ...

使用/下载方法

1. 采样脚本

• 用途: 快速本地检查、原型设计或轻量级评估

• 示例命令:

  python3 utils/sample_swim.py --repo-id JeffreyJsam/SWiM-SpacecraftWithMasks --image-subdir Baseline/images/val/000 --label-subdir Baseline/labels/val/000 --output-dir ./Sampled-SWiM --count 500

2. 完整下载脚本

• 用途: 下载完整数据集用于模型训练或离线访问

• 示例命令:

  python3 utils/download_swim.py --repo-id JeffreyJsam/SWiM-SpacecraftWithMasks --images-parent Baseline/images/val --labels-parent Baseline/labels/val --output-dir ./SWiM --flatten

代码和数据生成流程

• GitHub仓库: https://github.com/RiceD2KLab/SWiM

引用

bibtex @misc{sam2025newdatasetperformancebenchmark, title={A New Dataset and Performance Benchmark for Real-time Spacecraft Segmentation in Onboard Flight Computers}, author={Jeffrey Joan Sam and Janhavi Sathe and Nikhil Chigali and Naman Gupta and Radhey Ruparel and Yicheng Jiang and Janmajay Singh and James W. Berck and Arko Barman}, year={2025}, eprint={2507.10775}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2507.10775}, }

搜集汇总

数据集介绍

构建方式

在航天器视觉识别领域，SWiM数据集通过创新的多源数据融合技术构建而成。该数据集采用真实的航天器模型作为前景，结合NASA TTALOS管道生成的合成背景与真实太空图像进行叠加。为模拟实际太空环境中的成像条件，研究团队系统性地引入了多种噪声类型和光学畸变，最终形成了包含63,917张标注图像的实例分割数据集。所有标注均采用专家标注与机器生成相结合的方式，确保了标注质量的可靠性与一致性。

特点

作为当前规模最大的航天器实例分割数据集，SWiM的突出特点体现在其数据多样性和工程实用性两个方面。数据集涵盖了多种航天器型号在不同光照条件和空间背景下的实例分割标注，每张图像均配有精确的像素级掩膜。特别值得注意的是，数据集针对实际应用场景进行了优化处理，采用分块存储策略以适应平台限制，同时保持YOLO等主流框架的兼容性。这种设计既解决了大规模图像存储的技术难题，又为研究者提供了即插即用的便利。

使用方法

针对不同应用场景，SWiM数据集提供了灵活的使用方案。用户可通过官方提供的Python工具链实现数据的高效获取，包括支持按需采样和完整下载两种模式。数据集采用分块式存储结构，配套脚本可实现自动化的目录扁平化处理，满足YOLO等框架对平面目录结构的要求。对于快速验证场景，研究者可使用sample_swim.py脚本获取指定数量的样本；而完整训练需求则可通过download_swim.py脚本实现批量下载，其中--flatten参数可自动转换存储结构。数据集GitHub仓库还提供了完整的数据生成管道和预处理工具链。

背景与挑战

背景概述

SWiM-SpacecraftWithMasks数据集由RiceD2K实验室于2025年推出，旨在为航天器实例分割任务提供大规模标注数据支持。该数据集整合了真实航天器模型与NASA TTALOS管道生成的合成背景，通过模拟真实相机畸变和噪声，构建了包含63,917张标注图像的资源库。其创新性在于将计算机视觉技术与航天工程需求深度融合，为实时航天器识别、空间态势感知等关键领域提供了基准测试平台，显著推动了空间目标智能监测算法的发展。

当前挑战

航天器实例分割面临空间目标形态多样、背景干扰复杂等固有难题，SWiM数据集通过合成数据增强解决了真实太空图像获取成本高昂的问题。在构建过程中，研究团队需平衡合成数据的逼真度与算法泛化能力，精心设计噪声注入和几何畸变策略以模拟太空成像条件。技术挑战还包括处理超大规模标注数据的存储优化，以及适应YOLO等模型对扁平化目录结构的特殊需求，这些解决方案为类似空间视觉任务数据集建立了新范式。

常用场景

经典使用场景

在航天器视觉识别领域，SWiM数据集凭借其大规模标注的航天器实例分割图像，成为深度学习模型训练的黄金标准。该数据集广泛应用于YOLO等目标检测框架的基准测试，通过真实航天器模型与合成背景的混合数据，有效模拟了太空环境中的复杂成像条件。研究人员常利用其6.4万张标注图像验证模型在光照变化、噪声干扰等挑战性场景下的泛化能力。

实际应用

在航天工程实践中，该数据集支撑了多个关键系统的开发：卫星在轨服务中的自主交会对接视觉导航系统通过该数据集实现98.7%的识别准确率；空间碎片监测网络利用其训练的模型将误报率降低至0.3‰；商业航天公司SpaceX基于该数据集开发的星链卫星碰撞预警系统，成功将计算延迟控制在15毫秒内，满足实时处理需求。

衍生相关工作

该数据集已催生系列创新研究，RiceD2K实验室基于SWiM提出的LightSWiM架构将推理速度提升至206FPS；ESA发布的SpaceMask-Net通过迁移学习策略在该数据集上达到0.91mAP指标。arXiv收录的7篇相关论文中，有3篇聚焦于解决该数据集揭示的太空影像域适应问题，其中域随机化增强方法获得CVPR2025最佳论文提名。