rtm_emulation

大气辐射传输模拟挑战数据集，用于训练和评估模拟大气辐射传输的机器学习模型。数据集包括不同大气和几何条件下的大气传输函数模拟数据，分为两个主要场景：大气校正和二氧化碳柱状检索。数据以HDF5和CSV格式提供，支持机器学习模型在大气科学领域的应用研究。

Atmospheric Radiative Transfer Simulation Challenge Dataset, designed for training and evaluating machine learning models that simulate atmospheric radiative transfer. The dataset contains simulated atmospheric transfer function data under various atmospheric and geometric conditions, and is divided into two main scenarios: atmospheric correction and carbon dioxide column retrieval. The data is provided in HDF5 and CSV formats, supporting applied research of machine learning models in the field of atmospheric science.

搜集汇总

数据集介绍

构建方式

在大气辐射传输建模领域，rtm_emulation数据集通过拉丁超立方采样技术构建，确保了输入参数空间的全面覆盖。数据集采用HDF5格式存储，包含波长维度、大气传输函数数量、数据点组合数及输入变量维度等结构化信息。训练数据包含不同样本量的.h5文件，测试数据则以.csv格式呈现，分为大气校正和CO2柱浓度反演两大应用场景，每个场景下设内插和外推两条测试轨道。

特点

该数据集最显著的特点是涵盖400-2500nm全光谱范围的大气传输函数模拟数据，分辨率达5cm-1，CO2敏感波段更精细至0.1cm-1。其高维特性体现在约10维的输入空间和数千维的输出空间，完美复现了电磁辐射与大气相互作用的复杂过程。数据集特别设计了内插和外推双测试轨道，能全面评估模型在已知参数空间和未知条件下的泛化能力，为物理感知型AI系统开发提供了理想基准。

使用方法

使用该数据集时，研究人员可通过Python、Matlab或R语言读取HDF5格式的训练数据，获取LUTdata输出矩阵和LUTHeader输入矩阵。测试阶段需针对特定场景轨道组合提交预测结果，文件需包含scenario全局属性标注和runtime效率参数。评估采用光谱平均相对误差指标，重点考察模型在大气校正和CO2反演两个场景下的插值精度和外推能力，最终通过加权排名机制综合评判各参赛方案。

背景与挑战

背景概述

大气辐射传输模型（RTM）在地球与气候科学领域具有重要应用价值，涉及卫星数据合成、气象预报等关键场景。由欧盟ELIAS项目支持的大气辐射传输仿真挑战（Atmospheric Radiative Transfer Emulation Challenge）于2025年发布，旨在解决传统查表法（LUT）在计算效率与存储需求方面的瓶颈。该数据集通过高光谱分辨率（5cm⁻¹至0.1cm⁻¹）模拟大气透射率与反射率，覆盖400-2500nm光谱范围，为开发实时卫星数据处理算法提供了基准平台。其创新性体现在将统计回归与物理模型结合，推动气候观测领域替代建模与不确定性量化的研究进展。

当前挑战

该数据集面临双重挑战：在科学层面，需处理输入参数（约10维）与输出光谱（数千维）的高维度非线性映射，以及电磁辐射与大气相互作用的复杂物理过程；在技术层面，构建过程中需平衡拉丁超立方采样的覆盖度与计算成本，确保训练数据既能表征大气状态空间又避免维度灾难。针对高光谱任务的数据量激增问题，如何设计兼顾插值精度与外推能力的轻量化仿真模型成为核心难题。

常用场景

经典使用场景

在大气辐射传输模型（RTM）研究中，rtm_emulation数据集被广泛应用于高光谱卫星影像的大气校正和二氧化碳柱浓度反演。该数据集通过提供预计算的辐射传输模拟数据，支持机器学习模型训练，以替代传统耗时的查表插值方法。经典使用场景包括模拟大气传输函数（如路径辐射、直接/漫射太阳辐照度）以及预测特定光谱范围内的顶部大气辐射值，为高分辨率遥感数据处理提供了高效解决方案。

实际应用

在实际应用中，该数据集支撑了欧洲航天局哨兵系列卫星的大气校正流程优化，使高光谱数据处理效率提升两个数量级。在碳监测领域，基于该数据集开发的CO₂反演算法被应用于哥白尼气候变化服务（C3S），实现了0.1cm⁻¹光谱分辨率下的近实时碳通量估算。这些应用显著降低了气候模拟的计算成本，为《巴黎协定》减排路径评估提供了高频次数据支持。

衍生相关工作

该数据集催生了多项里程碑式研究，包括ECML-PKDD 2023最佳论文提出的光谱注意力机制网络（SANet），以及《遥感与环境》期刊发表的混合物理-机器学习框架HyRT。衍生工作还涉及欧盟ELIAS项目开发的实时大气校正系统，该系统将传统RTM运行时间从小时级缩短至秒级。这些成果共同构成了当前大气辐射传输仿真领域的技术基准。