five

EarthView|遥感数据数据集|自监督学习数据集

收藏
arXiv2025-01-14 更新2025-01-16 收录
遥感数据
自监督学习
下载链接:
https://huggingface.co/datasets/satellogic/EarthView
下载链接
链接失效反馈
资源简介:
EarthView是一个专为遥感数据自监督学习设计的大规模数据集,旨在提升地球监测任务中的深度学习应用。该数据集由Satellogic、NEON和Sentinel等多个来源的遥感图像组成,总像素数达到15万亿,涵盖了从2017年到2022年的五年数据。数据集包含多种分辨率的图像数据,涵盖了高光谱、多光谱、地形数据、分割图和时间结构等多种模态。数据集通过HuggingFace平台以parquet格式提供,便于研究人员使用。该数据集的应用领域包括气候变化监测、自然灾害预警、农业和城市规划等,旨在通过自监督学习提升地球监测算法的性能。

EarthView is a large-scale dataset specifically designed for unsupervised learning of remote sensing data, aiming to enhance the application of deep learning in Earth observation tasks. Composed of remote sensing images from multiple sources including Satellogic, NEON, and Sentinel, the dataset boasts a total of 1.5 trillion pixels and spans five years of data from 2017 to 2022. It encompasses a variety of image data resolutions and includes high-spectral, multispectral, topographic data, segmentation maps, and temporal structures across multiple modalities. The dataset is provided in parquet format via the HuggingFace platform, facilitating ease of use for researchers. The application domains of this dataset include climate change monitoring, natural disaster early warning, agriculture, and urban planning, with the goal of improving the performance of Earth observation algorithms through unsupervised learning.
提供机构:
计算机视觉中心, Satellogic, Mila, 蒙特利尔大学, ServiceNow研究, 苹果研究
创建时间:
2025-01-14
AI搜集汇总
数据集介绍
main_image_url
构建方式
EarthView数据集的构建基于多源遥感数据的整合,涵盖了来自Satellogic、Sentinel和NEON的多样化数据。Satellogic提供了1米空间分辨率的RGB和近红外数据,NEON贡献了高光谱数据、RGB数据和高程数据,而Sentinel则提供了多光谱和合成孔径雷达(SAR)数据。这些数据经过精心筛选和组织,形成了一个覆盖全球、时间跨度为2017年至2022年的15万亿像素的遥感数据集。数据集以HuggingFace平台上的parquet格式发布,便于研究人员访问和使用。
特点
EarthView数据集的特点在于其多样性和规模。它不仅涵盖了多种传感器类型(如RGB、多光谱、高光谱、SAR等),还包含了不同空间分辨率(从0.1米到60米)和时间分辨率的数据。数据集的时间跨度长达五年,能够捕捉到地表变化的动态过程。此外,数据集还提供了丰富的元数据,如地理坐标、时间戳等,为自监督学习提供了强有力的支持。这种多模态、多尺度的数据组合使得EarthView成为地球监测任务中的宝贵资源。
使用方法
EarthView数据集的使用方法主要围绕自监督学习展开。研究人员可以利用该数据集进行预训练,以提升模型在地球监测任务中的表现。数据集中的多模态数据(如RGB、高光谱、SAR等)可以通过EarthMAE模型进行处理,该模型结合了时间编码和源编码,能够有效处理不同传感器和分辨率的数据。通过掩码自编码器(MAE)的训练策略,模型能够从数据中提取高层次语义信息,进而应用于分类、分割等下游任务。数据集的HuggingFace平台发布形式也使得数据的下载和集成更加便捷。
背景与挑战
背景概述
EarthView数据集由Diego Velazquez等研究人员于2025年提出,旨在为遥感数据的自监督学习提供支持,以提升地球监测任务中的深度学习应用。该数据集涵盖了2017年至2022年间的全球遥感数据,总规模达15万亿像素,结合了来自NEON、Sentinel和Satellogic的多源数据,包括高光谱、多光谱、地形数据等多种模态。EarthView的发布标志着遥感数据自监督学习领域的一大进步,尤其是在处理多模态、多分辨率数据方面。该数据集通过HuggingFace平台开放访问,极大地方便了研究人员的实验与应用。
当前挑战
EarthView数据集面临的挑战主要集中在两个方面。首先,遥感数据的多模态特性(如高光谱、多光谱、雷达等)使得模型在处理时需要具备强大的跨模态学习能力,而现有的自监督学习方法在处理此类异构数据时仍存在性能瓶颈。其次,数据集的构建过程中,研究人员面临了数据获取与处理的复杂性,尤其是高分辨率数据的获取成本高昂,且不同数据源的分辨率、时间覆盖范围等差异显著,导致数据对齐与整合的难度增加。此外,数据存储与传输的带宽限制也成为了构建大规模数据集的技术障碍。
常用场景
经典使用场景
EarthView数据集在遥感领域的经典使用场景主要集中在自监督学习任务中。通过其包含的多源、多分辨率的遥感数据,研究人员可以训练深度学习模型以捕捉地球表面的复杂特征。该数据集特别适用于处理多光谱、高光谱、雷达和地形数据,帮助模型在没有大量标注数据的情况下,学习到有效的特征表示。这种自监督学习方法在遥感图像分类、目标检测和场景理解等任务中表现出色。
衍生相关工作
EarthView数据集的发布催生了一系列相关研究工作,特别是在自监督学习和多模态数据融合领域。例如,基于该数据集开发的EarthMAE模型,通过掩码自编码器架构,展示了在多源遥感数据上的优异表现。此外,该数据集还启发了其他研究团队开发类似的遥感数据集和模型,如BigEarthNet和MLRSNet,进一步推动了遥感图像理解技术的发展。这些衍生工作不仅扩展了EarthView的应用范围,也为遥感领域的算法创新提供了新的思路。
数据集最近研究
最新研究方向
近年来,EarthView数据集在遥感领域的自监督学习研究中展现出显著的前沿性。该数据集通过整合来自Satellogic、Sentinel和NEON的多源遥感数据,提供了高分辨率、多模态的全球覆盖图像,涵盖了从2017年至2022年的时间跨度。其独特之处在于结合了高光谱、多光谱、雷达和地形数据,为自监督学习模型提供了丰富的训练素材。当前的研究热点集中在如何利用EarthView数据集中的时间序列和多模态信息,提升模型在气候变化监测、农业管理和城市规划等下游任务中的表现。特别是,EarthMAE模型的提出,通过掩码自编码器(MAE)架构,进一步推动了遥感数据的自监督学习研究。该模型通过结合时间编码和多源数据掩码策略,显著提升了模型在复杂遥感场景中的泛化能力。EarthView的发布不仅为遥感领域的研究者提供了宝贵的资源,也为全球环境监测和可持续发展提供了新的技术支撑。
相关研究论文
  • 1
    EarthView: A Large Scale Remote Sensing Dataset for Self-Supervision计算机视觉中心, Satellogic, Mila, 蒙特利尔大学, ServiceNow研究, 苹果研究 · 2025年
以上内容由AI搜集并总结生成
用户留言
有没有相关的论文或文献参考?
这个数据集是基于什么背景创建的?
数据集的作者是谁?
能帮我联系到这个数据集的作者吗?
这个数据集如何下载?
点击留言
数据主题
具身智能
数据集  4098个
机构  8个
大模型
数据集  439个
机构  10个
无人机
数据集  37个
机构  6个
指令微调
数据集  36个
机构  6个
蛋白质结构
数据集  50个
机构  8个
空间智能
数据集  21个
机构  5个
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集

中国1km分辨率逐月降水量数据集(1901-2023)

该数据集为中国逐月降水量数据,空间分辨率为0.0083333°(约1km),时间为1901.1-2023.12。数据格式为NETCDF,即.nc格式。该数据集是根据CRU发布的全球0.5°气候数据集以及WorldClim发布的全球高分辨率气候数据集,通过Delta空间降尺度方案在中国降尺度生成的。并且,使用496个独立气象观测点数据进行验证,验证结果可信。本数据集包含的地理空间范围是全国主要陆地(包含港澳台地区),不含南海岛礁等区域。为了便于存储,数据均为int16型存于nc文件中,降水单位为0.1mm。 nc数据可使用ArcMAP软件打开制图; 并可用Matlab软件进行提取处理,Matlab发布了读入与存储nc文件的函数,读取函数为ncread,切换到nc文件存储文件夹,语句表达为:ncread (‘XXX.nc’,‘var’, [i j t],[leni lenj lent]),其中XXX.nc为文件名,为字符串需要’’;var是从XXX.nc中读取的变量名,为字符串需要’’;i、j、t分别为读取数据的起始行、列、时间,leni、lenj、lent i分别为在行、列、时间维度上读取的长度。这样,研究区内任何地区、任何时间段均可用此函数读取。Matlab的help里面有很多关于nc数据的命令,可查看。数据坐标系统建议使用WGS84。

国家青藏高原科学数据中心 收录

Materials Project

材料项目是一组标有不同属性的化合物。数据集链接: MP 2018.6.1(69,239 个材料) MP 2019.4.1(133,420 个材料)

OpenDataLab 收录

RADIOML 2016.10A

一个合成数据集,使用GNU Radio生成,包含11种调制方式(8种数字和3种模拟),信号噪声比各异。该数据集首次在第六届年度GNU Radio会议上发布。

github 收录

UAVDT

UAVDT是一个用于目标检测任务的数据集。

github 收录

China Air Quality Historical Data

该数据集包含了中国多个城市的空气质量历史数据,涵盖了PM2.5、PM10、SO2、NO2、CO、O3等污染物浓度以及空气质量指数(AQI)等信息。数据按小时记录,提供了详细的空气质量监测数据。

www.cnemc.cn 收录