SARLO-80

SARLO-80是由法国航空航天实验室与Hugging Face联合构建的全球性超高分辨率合成孔径雷达-光学-文本多模态数据集。该数据集包含119,566个三元组样本，每个样本由复数值与振幅斜距SAR图像块、像素级对齐的光学图像块以及三种长度的自然语言描述组成，覆盖全球72个国家的257个地点，数据来源于约2,500个Umbra卫星的开放获取SICD场景，经频域重采样统一至80厘米斜距网格。其创建过程通过保留原生斜距几何与复值信号，并采用局部仿射变换实现跨模态精确配准，旨在为SAR物理特性感知的多模态基础模型提供训练基准，支持跨模态检索、条件生成及语义理解等前沿任务。SARLO-80 is a global ultra-high-resolution synthetic aperture radar (SAR)-optical-text multimodal dataset jointly developed by the French Aerospace Laboratory (ONERA) and Hugging Face. This dataset contains 119,566 triplet samples, each composed of complex-valued and amplitude slant-range SAR image patches, pixel-aligned optical image patches, and natural language descriptions of three distinct lengths. It covers 257 locations across 72 countries worldwide, with data sourced from approximately 2,500 open-access SICD scenes collected by Umbra satellites, which are unified to an 80-centimeter slant-range grid via frequency-domain resampling. During its construction, the native slant-range geometry and complex-valued signals are retained, and precise cross-modal registration is implemented through local affine transformations. This dataset is designed to serve as a training benchmark for multimodal foundation models with SAR physical property awareness, supporting cutting-edge tasks including cross-modal retrieval, conditional generation and semantic understanding.

原始信息汇总

数据集概述：SARLO-80 (Worldwide Slant SAR Language Optic Dataset - 80cm)

基本信息

• 来源：ONERA（法国航空航天研究中心），基于Umbra SICD产品构建。
• 发布地址：https://huggingface.co/datasets/ONERA/SARLO-80
• 许可证：Creative Commons Attribution-ShareAlike 4.0 International (CC-BY-SA-4.0)
• 存储格式：WebDataset分片（shards）
• 论文：arXiv链接

数据内容

• SAR数据：来自Umbra SICD产品，重采样至固定分辨率 80 cm × 80 cm（方位向 × 距离向），采用 斜距几何（Slant-range geometry）。
• 光学图像：因许可限制，不直接以PNG文件形式重新分发；可根据 meta.json 和 sicd.xml 按需重建。
• 文本描述：每个样本包含3条自动生成的字幕（SHORT、MID、LONG），基于CogVLM2生成，经Qwen LLM清洗和后处理。

样本结构（每个WebDataset分片中的样本）

文件	描述
<id>.sar.png	SAR幅度图像（斜距几何），分辨率80 cm，通常尺寸为 (1024, 1024)
<id>.sar.npy	复数值SAR数组（斜距几何）
<id>.sicd.xml	原始Umbra SAR采集的SICD元数据XML（用于几何投影和可复现性）
<id>.meta.json	包含SAR几何、字幕、入射角、光学重建所需元数据（UTF-8 JSON）
<id>.__key__	唯一WebDataset键（字符串）
不包含 <id>.optic.png	光学图像因许可限制未重新分发

元数据字段（meta.json 内容）

字段	描述
optical	原始光学元数据子集，包括 corners_wgs84、source、zoom
metadata_sicd_file	样本内关联的SICD XML文件名
optic_png_included	始终为 false
optic_recreation	如何重建光学图像的简短描述
umbra_city	位置或采集区域
umbra_pass	Umbra pass标识符
umbra_satellite	Umbra卫星标识符
crop	裁剪索引和形状
Nb_pixel_a, Nb_pixel_r	SAR采样维度
ss_row, ss_col	SAR样本间距信息
spacing_eff_az, spacing_eff_rg	有效方位向和距离向间距
scp_row, scp_col	场景中心点像素坐标
operation_sampling	SAR重采样操作元数据
bbox_ecf, bbox_llh	SAR裁剪边界框
incidence_angles.terrain_deg	基于地形的入射角估计（可用时）
incidence_angles.ellipsoid_deg	基于椭球体的入射角估计（可用时）
incidence_angles.sicd_deg	来自SICD元数据的入射角（可用时）
caption.SHORT	短字幕
caption.MID	中等长度字幕
caption.LONG	更具描述性的字幕

光学重建相关关键字段

• meta["optical"]["corners_wgs84"]：用于检索光学图像的WGS84角点或边界坐标
• meta["optical"]["source"]：光学瓦片源
• meta["optical"]["zoom"]：光学瓦片缩放级别
• <id>.sicd.xml：用于将SAR裁剪像素投影到WGS84的SICD元数据
• meta["crop"] 和 SAR采样字段：用于恢复SAR裁剪几何

使用方式（Python示例）

• 通过 huggingface_hub 下载WebDataset分片，使用 webdataset 库读取SAR数据（幅度图像、复数数组）和元数据（JSON、SICD XML）。
• 示例代码展示如何加载 sar.png、sar.npy、meta.json 和 sicd.xml。

光学图像重建步骤

1. 读取 meta.json
2. 使用存储的WGS84边界框、源和缩放级别下载光学图像
3. 从SICD元数据将SAR裁剪控制点投影到WGS84
4. 将WGS84点转换为光学GeoTIFF像素
5. 估计仿射变换
6. 将光学图像扭曲到SAR裁剪帧
7. 保存重建的光学图像

许可注意事项

• 光学图像不随SARLO-80重新分发。
• 用户需自行确保对元数据中指定光学瓦片源的访问和使用符合该提供商的使用条款。
• SARLO-80仅提供可复现重建所需的元数据（光学源、WGS84角点/边界框、缩放级别、SAR裁剪元数据、SICD XML、入射角、字幕）。

致谢与联系

• 由Solène Debuysère在ONERA-DEMR完成，受Nicolas Trouvé、Nathan Letheule和Elise Colin指导。
• 感谢ONERA/DEMR提供计算和研究资源，Umbra提供SAR数据，Hugging Face提供平台支持。
• 联系邮箱：[e-mail] / [e-mail] / [e-mail]

搜集汇总

数据集介绍

构建方式

SARLO-80数据集基于Umbra卫星星座的开源聚束模式合成孔径雷达（SAR）影像构建。原始数据以传感器独立复数数据（SICD）格式提供，涵盖全球约2500景VV/HH极化影像，原始分辨率介于20厘米至2米之间。为统一表征，所有SAR数据经带限傅里叶变换重采样至80厘米斜距网格，并裁剪为1024×1024像素的图块。针对每个SAR图块，通过局部坐标对应关系检索高分辨率光学影像，并利用一阶仿射变换将其投影至SAR斜距网格，实现像素级对齐。此外，为每一样本生成三种不同长度的自然语言描述（短/中/长），最终形成119,566组包含复数SAR、对齐光学影像及文本描述的三元组，覆盖72个国家的257处地点。

特点

该数据集的核心创新在于保留了SAR数据的复数测量值及原生斜距几何，避免了传统地距投影对雷达物理特性的破坏。80厘米的超高分辨率使得层叠、阴影等SAR特有几何效应清晰可见，为研究雷达散射机制提供了稀缺的数据基础。数据集提供短、中、长三种文本描述，词汇丰富度递增，支持多粒度视觉-语言理解。此外，所有样本按卫星轨道划分固定的训练/验证/测试集，确保了评估的公平性与可重复性。光学影像未直接存储，而是通过元数据实现按需重构，既规避了第三方版权问题，又允许用户将外部地理信息灵活投影至SAR坐标系。

使用方法

数据集以WebDataset格式存储于Hugging Face Hub，采用分片式tar归档，便于大规模流式读取与随机打乱。用户可通过提供的预处理管线，利用元数据中的仿射变换参数将光学影像实时重构至SAR网格。数据集支持多种下游任务：在跨模态检索中，微调CLIP模型可实现SAR图像与文本间的双向搜索；在条件生成任务中，可基于文本描述生成逼真的SAR图像。此外，复数值SAR数据支持去噪、子孔径分解、等效视数分析等物理驱动研究。基准实验表明，多长度文本描述与训练后期时间步优化策略可显著提升生成图像的真实感与语义对齐性能。

背景与挑战

背景概述

合成孔径雷达（SAR）凭借其全天候、昼夜成像的能力，成为遥感领域不可或缺的感知手段。然而，现有公开的SAR-光学多模态数据集多基于低分辨率的强度幅值产品，丢失了SAR测量中蕴含的相位、几何形变等关键物理信息。为弥合这一鸿沟，法国航空航天实验室ONERA联合Hugging Face于2026年构建了SARLO-80数据集。该数据集从Umbra卫星星座的开源聚束模式数据出发，经过频域带限重采样，将全球2,565景复杂SAR影像统一标准化为80厘米斜距分辨率，并生成了119,566组包含复数SAR切片、像素级对齐的高分辨率光学图像以及多长度自然语言描述的三元组，覆盖72个国家257个地点。SARLO-80的问世为发展能够利用SAR物理特性的多模态深度学习模型提供了关键数据基础，在遥感多模态学习领域具有里程碑式的影响力。

当前挑战

SARLO-80面临的挑战主要体现在两个层面。在领域层面，SAR影像特有的斑噪、叠掩、阴影等效应导致其视觉外观与光学图像存在巨大差异，且同一地物在不同入射角下的散射特征迥异，这使得跨模态检索与文本到SAR图像生成任务中，模型难以弥合模态鸿沟、学习鲁棒的物理对齐表示。在构建层面，将原始复数SAR信号进行频域重采样而保留完整相干场，以及将高分辨率光学影像精确投影至斜距网格以实现像素级对齐，均需要精细的几何变换与插值策略；此外，大规模生成高质量、语义一致且不包含色彩词汇的多层次自然语言描述，并通过后处理消除幻觉，同样是数据集构建中的技术痛点。

常用场景

经典使用场景

SARLO-80数据集最经典的使用场景是支撑多模态学习与跨模态检索研究。该数据集以0.8米斜距分辨率的合成孔径雷达（SAR）单视复数影像为核心，配套像素级对齐的高分辨率光学图像及多长度自然语言描述，构建了涵盖全球72个国家257个地点的近12万组三元组。研究者可利用该数据集训练SAR感知的视觉-语言模型，实现文本到SAR图像的生成、SAR图像到文本的语义检索，以及SAR与光学模态间的特征对齐，从而在保留雷达物理特性的前提下弥合传感器差异与语义鸿沟。

衍生相关工作

基于SARLO-80数据集已衍生出若干经典工作方向：在生成建模方面，研究者通过微调潜在扩散模型实现文本到SAR图像的生成，并探索多长度描述与时间步长重加权对SAR散斑噪声与高分辨率纹理恢复的优化。在跨模态检索方面，全微调CLIP系列模型展示了SAR影像与自然语言对齐的可行性，揭示了传感器适配在弥合光学预训练与SAR物理特性间差距的关键作用。此外，数据集支持的子孔径分解与SAR彩色化技术，为散射多样性分析和可视化解释提供了新路径。未来工作可拓展至多时相场景与高程数据融合，建立标准化超分、分割与检索评测协议。

数据集最近研究

最新研究方向

SARLO-80数据集的问世，标志着合成孔径雷达与光学影像及自然语言的多模态对齐研究迈入全新阶段。该数据集的独特之处在于，它首次大规模保留了极高分率SAR单视复数数据的斜距几何与复值信息，突破了现有数据集依赖低分辨率、仅强度信息的地距产品的局限。当前前沿研究方向聚焦于利用其全球覆盖、亚米级分辨率的配准样本，训练SAR感知的视觉语言模型与生成式模型，探索跨模态检索与条件生成任务。尤其值得一提的是，该数据集在捕捉雷达特有的叠掩、阴影及多次散射效应方面展现出巨大潜力，为深度理解SAR物理机制与多模态语义鸿沟提供了宝贵平台。其发布有望推动遥感基础模型在灾害响应、精细测绘等热点应用中的物理可解释性发展，对构建真正能够解析雷达信号特性的智能分析系统具有里程碑意义。

相关研究论文

• SARLO-80: Worldwide Slant SAR Language Optic Dataset 80cm

  法国航空航天实验室·DEMR; 法国航空航天实验室·DTIS; Hugging Face · 2026年