five

OpenContrails

收藏
arXiv2023-04-20 更新2024-07-24 收录
下载链接:
https://research.google/pubs/contrail-detection-on-goes-16-abi-with-the-opencontrails-dataset/
下载链接
链接失效反馈
官方服务:
资源简介:
OpenContrails是由Google Inc.研究部门创建的数据集,专注于利用GOES-16卫星的ABI数据进行尾迹云(contrails)的自动检测模型训练与评估。该数据集包含高质量的人工标注尾迹云掩码,覆盖了从2019年4月至2020年4月的时间段,旨在通过提供大规模的尾迹云检测结果,加速尾迹云研究,特别是在评估航空对气候变化的影响方面。数据集的构建涉及复杂的筛选过程,包括使用飞行轨迹数据和湿度数据来增加数据集中正样本的数量,并通过人工标注确保数据的准确性。OpenContrails不仅支持模型性能的比较和可重复研究,还展示了利用时间上下文信息改进尾迹云检测的可能性,为航空尾迹云的气候影响评估和规避实验提供了基础。

OpenContrails is a dataset developed by the Research division of Google Inc., which focuses on training and evaluating automatic contrail detection models using ABI data from the GOES-16 satellite. This dataset includes high-quality manually annotated contrail masks, covering the period from April 2019 to April 2020. Its purpose is to accelerate contrail research, particularly in assessing aviation's impact on climate change, by providing large-scale contrail detection results. The construction of OpenContrails involves a sophisticated screening process that uses flight trajectory data and humidity data to increase the number of positive samples in the dataset, and ensures data accuracy through manual annotation. OpenContrails not only supports model performance comparison and reproducible research, but also demonstrates the possibility of improving contrail detection by leveraging temporal contextual information, providing a foundation for climate impact assessment and mitigation experiments of aviation contrails.
提供机构:
Google Inc.
创建时间:
2023-04-05
搜集汇总
数据集介绍
main_image_url
构建方式
OpenContrails数据集基于GOES-16 ABI卫星的红外波段亮度温度数据构建,覆盖2019年4月至2020年4月期间,采样区域限定于-50°至50°纬度与-135°至-30°经度之间。为提升正样本比例,研究团队采用三重筛选策略:首先利用FlightAware的ADS-B飞行轨迹数据结合ECMWF ERA5风场进行平流模拟,保留高密度航线区域;其次依据相对湿度阈值筛选可能形成凝结尾迹的场景;最后应用Mannstein算法进行高召回率预检测。此外,还借助Google街景图像中凝结尾迹的视觉特征,定位GOES-16影像中疑似含尾迹的区域以补充训练样本。每张影像以‘灰烬’假彩色方案呈现,由四名标注员独立绘制多边形标注尾迹像素,最终通过多数投票(至少三人一致)生成二值掩膜,共获得20,544个训练样本与1,866个验证样本。
特点
该数据集的核心特点在于其高时空覆盖与多模态标注设计。GOES-16地球静止轨道卫星每10分钟提供全盘影像,相较低轨卫星(如Landsat-8)显著提升了时间分辨率,能够捕捉凝结尾迹的快速演化过程。标注过程充分利用时间上下文,向标注员展示待标注帧前后共7帧影像(前5后2),并结合平流飞行密度图辅助判别,使标注员能区分瞬时生成的尾迹与静态地物或自然卷云。数据集提供6个红外通道的亮度温度及温差值,支持昼夜连续检测,且包含不同云量、太阳天顶角及地理位置的多样化场景,验证集在空间分布上无明显偏差。此外,约1.2%的像素被标记为尾迹,正负样本比例均衡,为训练鲁棒的语义分割模型提供了坚实基础。
使用方法
数据集以TFRecord格式存储,每个样本为256×256像素的影像块,包含多种红外通道输入。使用方法上,研究者可将其作为基准训练和评估凝结尾迹检测模型,典型任务为像素级二值分割。论文推荐采用DeeplabV3+架构,支持单帧与多帧(基于3D卷积的ResNet3D)两种模型,输入标准化后通过交叉熵损失训练。模型输出为0-1的置信度图,可进一步通过阈值化生成二值掩膜,再经OpenCV的LineSegmentDetector提取线性尾迹段。评估指标包括像素级AUC-PR(面积下精确率-召回率曲线)和尾迹线段级精确率/召回率(角度偏差<10°、距离<10km)。数据集已公开于Google Cloud Storage(gs://goes_contrails_dataset),便于复现与对比研究。
背景与挑战
背景概述
航空尾迹(contrails)作为线状冰晶云,是航空活动导致气候变化的主要贡献者之一,其辐射强迫效应与二氧化碳排放相当。然而,由于尾迹与自然卷云在视觉上高度相似,从卫星影像中准确识别尾迹始终是遥感与计算机视觉领域的难点。为应对这一挑战,Google Research联合麻省理工学院于2023年发布了OpenContrails数据集。该数据集基于GOES-16地球静止卫星的ABI传感器数据,覆盖2019至2020年间北美及南美区域,包含超过2万幅人工标注的尾迹掩膜图像。数据集通过引入多帧时序上下文、飞行轨迹与湿度先验信息,显著提升了尾迹检测的精度,为航空气候影响评估与尾迹规避策略提供了标准化基准。
当前挑战
OpenContrails数据集所面临的挑战涵盖领域难题与构建过程两方面。在领域层面,尾迹与自然卷云在纹理、色彩上几乎无法区分,且其形态随时间快速演变,传统单帧图像分割模型难以捕捉这种动态特征,导致检测精度远低于人类专家。此外,GOES-16卫星2公里分辨率的像素尺寸使得新生尾迹无法被观测,仅能识别已扩散的持久性尾迹,限制了早期尾迹的监测能力。在构建过程中,尾迹在卫星影像中极为稀疏,需通过飞行轨迹、湿度阈值及预检测算法进行针对性采样以增加正样本比例,但此类筛选无法完全消除误判。人工标注环节同样困难,标注者需依赖多帧时序序列与飞行密度图进行判断,个体标注者精度仅约64%,需通过四人投票机制聚合标签,且云量较高时标注一致性显著下降。
常用场景
经典使用场景
在航空与气候交叉研究领域,OpenContrails数据集为基于静止轨道卫星的凝结尾迹检测提供了标准化的基准平台。该数据集利用GOES-16 ABI传感器的红外波段影像,覆盖西半球广阔区域,以高时间分辨率(每10分钟)捕捉凝结尾迹的演化过程。其经典使用场景聚焦于训练和评估深度学习语义分割模型,通过像素级标注的凝结尾迹掩膜,实现对线性凝结尾迹的自动识别。研究人员可借助该数据集开发单帧或多帧输入的神经网络架构,利用时空上下文信息提升检测精度,从而在复杂云层背景中精准区分凝结尾迹与自然卷云。
实际应用
在实际应用中,OpenContrails数据集驱动了凝结尾迹实时监测系统的构建,服务于航空公司的航迹优化与气候影响评估。通过将训练好的检测模型部署于GOES-16卫星数据流,可自动生成西半球主要航线的凝结尾迹覆盖图,识别高贡献航班。航空运营方据此调整飞行高度或路径,规避易形成持久凝结尾迹的空域,从而以较低成本减少航空诱导的全球变暖。此外,该数据集还可用于验证天气预测模型对凝结尾迹形成条件的预报能力,提升航空气象服务的可靠性,最终助力航空业向碳中和目标迈进。
衍生相关工作
OpenContrails数据集的发布催生了多项衍生研究工作,推动了凝结尾迹检测技术的持续演进。基于该数据集,研究者提出了融合时序信息的多帧检测模型,如利用3D卷积或I3D网络架构捕捉凝结尾迹的瞬态出现与扩散特征,显著优于单帧基线。该数据集还促进了跨卫星平台的迁移学习研究,例如将GOES-16上训练的模型迁移至Himawari-8或Meteosat-11,实现全球尺度的凝结尾迹监测。此外,结合自监督学习与半监督方法的工作利用未标注卫星影像提升检测鲁棒性,而凝结尾迹追踪系统的开发则延伸至对变形卷云的辐射强迫评估,形成了从检测到气候影响评估的完整研究链条。
以上内容由遇见数据集搜集并总结生成
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作