SyMTRS

SyMTRS是由TOELT LLC与瑞士国防部联合开发的高保真合成遥感数据集，基于Unreal Engine 5的MatrixCity城市仿真环境构建。该数据集包含2048×2048像素的高清RGB航拍图像、像素级精准深度图、昼夜域适应配对图像，以及×2/×4/×8多尺度超分辨率对齐样本，通过程序化无人机航拍路径生成。其创新性在于首次将几何深度估计、跨域适应和分辨率增强三大任务整合于统一基准，旨在解决遥感领域标注数据稀缺、域间差异显著和多任务联合建模的挑战，为无人机视觉算法开发提供可控实验平台。

SyMTRS is a high-fidelity synthetic remote sensing dataset co-developed by TOELT LLC and the Swiss Ministry of Defense, built on the MatrixCity urban simulation environment powered by Unreal Engine 5. This dataset includes 2048×2048-pixel high-definition RGB aerial images, pixel-precise depth maps, day-night domain adaptation paired image pairs, as well as ×2, ×4, ×8 multi-scale super-resolution aligned samples, all generated via procedural unmanned aerial vehicle (UAV) aerial photography paths. It represents the first unified benchmark integrating three core tasks: geometric depth estimation, cross-domain adaptation, and resolution enhancement. Designed to address critical challenges in the remote sensing field—including the scarcity of annotated data, significant inter-domain discrepancies, and difficulties in multi-task joint modeling—this dataset provides a controllable experimental platform for the development of UAV-based visual algorithms.

原始信息汇总

数据集概述：SyMTRS

SyMTRS 是一个基于 Unreal Engine 5 的高保真仿真数据集，构建于 MatrixCity 项目（ArXiv）之上，提供具有精确几何、光照和传感器参数控制的逼真城市场景。该数据集为多模态、完美对齐的数据，包含高分辨率（2048×2048）的 RGB 航空图像。

主要特征

• 仿真管道：高保真度，基于 Unreal Engine 5。
• 场景类型：逼真的城市场景。
• 控制能力：可精确控制几何、光照和传感器参数。
• 数据模态：多模态，数据完美对齐。
• 图像分辨率：高分辨率 RGB 航空图像 (2048×2048)。

数据获取

数据集可通过 Hugging Face 仓库下载：

• Git 克隆： sh git clone https://huggingface.co/datasets/safouaneelg/SyMTRS

• Hugging Face datasets 库加载： python from datasets import load_dataset ds = load_dataset("safouaneelg/SyMTRS")

数据集布局

代码假定以下目录结构，文件通过文件名前缀匹配：

/path/to/SyMTRS/ ├── hr/ # 高分辨率图像 │ ├── RS.0.png │ ├── RS.100200.png │ └── ... ├── lr/ # 低分辨率图像 │ ├── x2/ # 2倍下采样 │ ├── x4/ # 4倍下采样 │ └── x8/ # 8倍下采样 ├── night/ # 夜间图像 │ ├── RS.0.png │ └── ... └── depth/ # 深度图 (numpy 格式) ├── RS.depth.0.npy └── ...

文件匹配规则：

• SuperResDataset：通过相同的文件名前缀匹配低分辨率和对应的高分辨率图像。
• DomainAdaptDataset：当 paired=True 时，通过相同的文件名前缀匹配日间和夜间图像。
• DepthDataset：通过文件名前缀匹配深度文件（如 RS.depth.100200.npy）与对应的图像文件（如 RS.100200.png）。

支持的任务与模型

该数据集仓库支持以下任务，并提供了相应的 PyTorch 数据加载器和训练流程：

1. 超分辨率 (Super-resolution)

   • 入口点：python train_superresolution.py ...
   • 实现的模型：
     • srcnn
     • autoencoder
     • srgan
     • swinir
   • 关键参数：--lr_root（低分辨率图像目录）、--hr_root（高分辨率图像目录）、--model（模型名）、--scale（上采样倍数，支持2,4,8）、--batch_size（默认4）、--epochs（默认20）、--lr（默认1e-4）等。

2. 图像到图像翻译 (Image-to-image translation)

   • 位置：CycleGAN-and-pix2pix/README.md
   • 实现内容：
     • CycleGAN：用于非成对的日间/夜间图像翻译。
     • pix2pix：用于成对的日间/夜间图像翻译。

3. 数据加载工具 (Dataset loading utilities)

   • 提供以下数据加载器：
     • SuperResDataset：用于超分辨率任务。
     • DomainAdaptDataset：用于域适应任务（日/夜）。
     • DepthDataset：用于深度估计任务。

环境配置

• 根项目：未提供环境文件，需手动安装依赖。 bash pip install torch torchvision numpy pillow matplotlib tqdm timm

  • timm 为 swinir 模型所需。
  • CUDA 为可选。

• 图像翻译子项目：需使用其独立的运行环境（详见 CycleGAN-and-pix2pix/README.md）。

超分辨率训练输出

每次训练运行的结果保存至 --out_dir 参数指定的目录，包含：

• metrics.csv：指标记录文件。
• loss_curve.png：损失曲线图。
• psnr_curve.png：PSNR 曲线图。
• mse_curve.png：MSE 曲线图。
• ssim_curve.png：SSIM 曲线图。
• weights/：模型权重文件（best.pt 和 last.pt）。
• samples/：训练过程中的样本输出图（格式为 epoch_XXX.png）。

搜集汇总

数据集介绍

构建方式

SyMTRS数据集依托于Unreal Engine 5中的高保真城市模拟环境MatrixCity构建而成。通过在虚拟环境中部署定制的摄像机Actor，模拟搭载于无人机上的传感器，以固定的-90度俯仰角获取城市景观的俯视影像。摄像机沿栅格化扫描路径在多个高度（从90,000到30,000个虚幻引擎单位）自动巡航，以此模拟不同飞行高度下的多尺度覆盖。为规避密集高层建筑带来的遮挡与碰撞风险，预先分析了建筑高度分布并应用了排除掩膜。借助虚幻引擎的Sequencer工具，以60帧/秒的速度渲染序列帧，总计生成超过150万帧原始数据，随后以每600帧为间隔进行采样，最终获得平衡的空间与时间分布样本集。深度图通过Movie Render Queue渲染并以EXR格式和32位浮点npy文件存储，RGB图像则以无损PNG格式保存。

使用方法

SyMTRS数据集主要面向航空遥感领域中的三项核心视觉任务：单图像超分辨率、有监督及无监督的图像到图像翻译。在超分辨率任务中，研究者可利用配对的低-高分辨率图像对，训练模型完成×2、××4和×8倍的重建。针对域适应任务，数据集支持通过pix2pix进行有监督的昼夜翻译实验，以及通过CycleGAN进行无监督的域适应研究。数据集采用确定性划分（随机种子42），包含1656张训练样本和414张测试样本，确保了实验的可重复性。所有数据均可通过HuggingFace平台获取，相关代码与预训练权重则托管于GitHub仓库，便于研究者复现基准结果并进行进一步的模型开发。

背景与挑战

背景概述

遥感领域深度学习的突破性进展高度依赖于大规模标注数据集，然而为几何、辐射及多域任务获取高质量真实标注往往成本高昂且难以实现。针对这一困境，Safouane El Ghazouali、Nicola Venturi、Michael Rueegsegger与Umberto Michelucci等研究人员于2026年提出了SyMTRS数据集，该数据集基于Unreal Engine 5中的MatrixCity高保真城市仿真管线构建，提供了2048×2048像素的高分辨率RGB航拍图像、像素级精确深度图、用于域适应的夜间对应图像以及多种倍率（×2、×4、×8）的低分辨率变体。与现有仅聚焦单一任务或模态的遥感数据集不同，SyMTRS旨在作为一个统一的多任务基准，推动几何理解、跨域鲁棒性与分辨率增强等领域的联合研究，填补了遥感研究中缺乏完美几何真值与一致多域监督的空白。

当前挑战

SyMTRS数据集面临的挑战包括：其一，所解决的领域问题涵盖多个方面：单目深度估计需依赖密集三维真值，但真实无人机航拍图像中像素级深度标注极为稀缺；域适应问题要求模型在不同地理区域、传感器及光照条件下泛化，而现有的日间与夜间配准图像对在遥感领域极难获取；超分辨率任务则需要完美对齐的多尺度图像对以控制实验变量。其二，构建过程中亦面临显著挑战：为模拟多高度航拍视角，需在复杂城市几何中规划无碰撞的栅格化扫描路径，并对高层建筑密集区域进行排除掩膜处理；同时，为确保数据集多样性，需在渲染中引入定向光源变化以产生自然阴影差异，并在生成的150万帧中通过每600帧采样的策略平衡覆盖广度与冗余度，最终产出1656张训练图块与414张测试图块。

常用场景

经典使用场景

SyMTRS数据集在遥感领域最为经典的使用场景是作为统一的多任务基准平台，同时支持单图像超分辨率重建、昼夜图像翻译以及单目深度估计等任务。研究者可借助该数据集中像素完美对齐的高分辨率RGB图像、精确的深度图、多尺度降采样版本及配对昼夜样本，在可控的合成环境下系统性地评估和比较不同模型在几何理解、跨域鲁棒性与分辨率增强方面的综合表现。该数据集填补了现有遥感基准多聚焦单一任务而缺乏联合标注的空白，为多任务学习与迁移学习提供了理想的实验温床。

解决学术问题

SyMTRS数据集有效解决了遥感领域长期以来缺乏大规模、高质量、多模态对齐标注的学术瓶颈。具体而言，它攻克了三个核心难题：其一，提供了像素级精确的深度真值，使得单目深度估计研究不再依赖于成本高昂的激光雷达或结构光采集；其二，通过合成昼夜配对影像，为光照条件剧烈变化下的无监督域适应研究提供了可靠的基准；其三，借助完美对齐的多尺度图像对，消除了超分辨率研究中常见的配准噪声与时序失配问题，使得模型性能的退化归因于纯粹的尺度信息丢失。这些设计极大地推动了遥感视觉模型在跨域泛化、几何理解与图像复原方面的理论探索。

实际应用

在实际应用层面，SyMTRS数据集为无人机航拍图像的智能解译提供了关键的训练与验证资源。其典型落地场景包括：无人机在夜间或弱光照条件下的自主导航与地图更新，借助域适应技术将日间训练的深度估计模型迁移至夜间环境；城市基础设施监测中，通过超分辨率技术从低带宽传输的缩略图恢复高分辨率的违章建筑细节；以及智慧城市管理中，利用深度图辅助的几何感知模型实现精准的三维重建与变化检测。此外，该数据集还可用于预训练遥感基础模型，其合成数据的可控性有助于缩小仿真与真实场景之间的域差距，加速算法在实际项目中的部署。

数据集最近研究

最新研究方向

在当前遥感领域中，高精度深度标注、跨域适应及多尺度图像对的稀缺性严重制约了单目深度估计、域适应与超分辨率等任务的发展。SyMTRS数据集的提出，通过基于虚幻引擎5的高保真城市仿真管线，生成了包含像素级深度图、昼夜配对图像及多倍率下采样图像的大规模合成航拍数据，为几何理解、跨域鲁棒性与分辨率增强的联合研究提供了统一的多任务基准。该数据集不仅弥补了现有遥感基准在几何真值和控制性跨域监督方面的关键空白，还推动了模型在预训练、迁移学习及联合目标优化中的前沿探索，尤其为昼夜域适应、大倍数超分辨率重建等挑战性场景的标准化评估奠定了重要基础。

相关研究论文

• SyMTRS: Benchmark Multi-Task Synthetic Dataset for Depth, Domain Adaptation and Super-Resolution in Aerial Imagery

  TOELT LLC AI实验室; 卢塞恩应用科学与艺术大学; 瑞士国防部·人工智能与模拟能力中心 · 2026年