ESA-AD

ESA异常数据集（ESA-AD）是第一个大规模的真实卫星遥测数据集，具有来自三个ESA任务的精心策划的异常注释。我们希望这个独特的数据集将允许学术界、研究机构、国家和国际空间机构以及工业界的研究人员和科学家在共同基准上基准化异常检测模型和方法，以及研究和开发用于卫星遥测数据异常检测的新颖、计算高效的算法。

The ESA Anomaly Dataset (ESA-AD) is the first large-scale real satellite telemetry dataset featuring meticulously curated anomaly annotations from three ESA missions. We hope that this unique dataset will enable researchers and scientists from academia, research institutions, national and international space agencies, as well as industry to benchmark anomaly detection models and methods on a unified benchmark, and to conduct research and develop novel, computationally efficient algorithms for anomaly detection in satellite telemetry data.

原始信息汇总

KP Labs Datasets

数据集概述

KP Labs 提供了一系列 AI 就绪的数据集，旨在支持机器学习算法在卫星数据分析中的公平和透明开发。这些数据集可用于学术界、研究机构、国家和国际空间机构以及工业界的研究人员和科学家。

数据集列表

1. ESA-AD

• 描述: ESA Anomaly Dataset (ESA-AD) 是一个大规模的真实卫星遥测数据集，包含来自三个 ESA 任务的异常标注。
• 元数据: anomaly detection, timeseries, ~12 GB, 3 missions, 多年遥测数据, CC-BY
• 关键词: machine learning, deep learning, unsupervised learning, supervised learning, European Space Agency, ESA, telemetry, signal processing, anomaly detection
• 数据文件: DOI: 10.5281/zenodo.12528696
• 代码: github.com/kplabs-pl/ESA-ADB
• 数据集论文: Arxiv link, BibTex file
• 项目论文: De Canio, G. et al. (2023) Development of an actionable AI roadmap for automating mission operations. In, 2023 SpaceOps Conference. American Institute of Aeronautics and Astronautics, Dubai, UAE.

2. OPSSAT-AD

• 描述: OPSSAT Anomaly Dataset (OPSSAT-AD) 包含来自欧洲空间局操作的 CubeSat 任务 OPS-SAT 的遥测数据。
• 元数据: anomaly detection, classification, outlier detection, timeseries + tabular, 2134 samples, CC-BY
• 关键词: machine learning, deep learning, unsupervised learning, supervised learning, European Space Agency, ESA, telemetry, signal processing, anomaly detection
• 数据文件: DOI: 10.5281/zenodo.12588359
• 代码: github.com/kplabs-pl/OPS-SAT-AD
• 数据集论文: Arxiv link, BibTex file
• 结果论文: ICCS 2023, BibTex file

3. HYPERVIEW

• 描述: HYPERVIEW 数据集用于 IEEE ICIP 2022 和 AI4Good 2023 的 HYPERVIEW 挑战赛，旨在从高光谱图像中估计土壤参数。
• 元数据: HSI, 2886 hyperspectral images, 2 m GSD, CC-BY
• 关键词: regression, image processing, machine learning, deep learning, hyperspectral images, soil content analysis, macronutrients measurement, pH, P, K, Mg, satellites, hyperspectral imaging, benchmark testing, feature extraction
• 数据和代码文件: HYPERVIEW Challenge
• 数据集论文: IEEE GRSM, BibTex file

4. MuS2

• 描述: MuS2 数据集由 Sentinel-2 和 WorldView-2 卫星获取的图像组成，用于多图像超分辨率重建。
• 元数据: super-resolution, satellite images, CC-BY
• 关键词: image processing, machine learning, deep learning, European Space Agency, Sentinel-2, WorldView-2
• 数据文件: DOI: 10.7910/DVN/1JMRAT
• 代码: https://codeocean.com/capsule/8131193/tree/v2
• 数据集论文: Scientific Data, BibTex file

搜集汇总

数据集介绍

构建方式

ESA-AD数据集的构建基于欧洲空间局（ESA）的三项任务，汇集了多年的卫星遥测数据，并经过精心标注以识别异常。这一大规模的真实数据集旨在为学术界、研究机构、国家和国际空间机构以及工业界提供一个共同的基准，用于评估和开发卫星遥测数据中的异常检测模型。数据集的构建过程包括对原始遥测数据的筛选、预处理和异常标注，确保数据的准确性和可用性。

特点

ESA-AD数据集的显著特点在于其规模和真实性，涵盖了三项ESA任务的遥测数据，时间跨度长达数年。此外，数据集的异常标注经过精心策划，为研究人员提供了丰富的训练和测试资源。该数据集支持多种机器学习方法，包括无监督学习和监督学习，适用于深度学习和传统信号处理技术。

使用方法

使用ESA-AD数据集时，研究人员可以下载数据文件并通过提供的代码库进行数据处理和模型训练。数据集的详细使用方法和评估流程在相关论文中有所描述，建议用户参考这些文献以获取最佳实践。此外，数据集的开放获取和共享机制遵循CC-BY许可，鼓励用户在使用时引用相关工作，以促进学术交流和研究的可重复性。

背景与挑战

背景概述

ESA-AD数据集是由欧洲空间局（ESA）与KP实验室合作创建的，旨在解决卫星遥测数据中的异常检测问题。该数据集于2024年发布，包含了来自三个ESA任务的真实遥测数据，并附有精心策划的异常标注。其核心研究问题是如何在卫星遥测数据中高效地检测异常，这对于确保卫星任务的可靠性和安全性至关重要。ESA-AD的发布不仅为学术界、研究机构、国家和国际空间机构以及工业界提供了一个共同的基准，还推动了新型计算高效异常检测方法的研究与开发。

当前挑战

ESA-AD数据集在构建过程中面临了多个挑战。首先，从多个ESA任务中收集和整合大规模的遥测数据是一项复杂且耗时的任务。其次，为这些数据进行异常标注需要专业的领域知识和高度的准确性，以确保标注的质量和可靠性。此外，该数据集的发布旨在推动异常检测模型的基准测试和新方法的开发，但这也意味着需要不断更新和改进现有的评估方法和质量指标，以应对日益增长的算法复杂性和多样性。

常用场景

经典使用场景

ESA-AD数据集在卫星遥测数据异常检测领域具有经典应用场景。该数据集汇集了来自欧洲空间局（ESA）三个任务的真实遥测数据，并附有精心标注的异常信息。这使得研究人员能够在一个统一的基准上对异常检测模型进行评估和比较，从而推动新型计算高效异常检测方法的发展。

衍生相关工作

ESA-AD数据集催生了多项相关经典工作。例如，Kotowski等人（2024）在其论文中详细描述了数据集的处理和评估流程，并展示了典型异常检测算法在该数据集上的表现。此外，De Canio等人（2023）在其项目论文中探讨了如何利用该数据集开发自动化任务操作的AI路线图，进一步推动了卫星任务操作的智能化发展。

数据集最近研究

最新研究方向

在卫星遥测数据的异常检测领域，ESA-AD数据集的最新研究方向主要集中在开发和评估新型计算高效的异常检测模型。该数据集源自欧洲空间局的三项任务，提供了大规模的真实遥测数据和精细的异常标注，为学术界、研究机构、国家和国际空间机构以及工业界提供了一个共同基准。研究者们通过构建层次化的评估管道，对典型的异常检测算法进行了深入分析，结果表明现有方法在满足操作员需求方面存在不足，因此亟需开发新的方法。此外，ESA-AD数据集的应用还推动了自动化任务操作的AI路线图的发展，进一步提升了卫星任务操作的效率和可靠性。