REO-Instruct

github2025-03-31 更新2025-04-01 收录

下载链接：

https://github.com/REO-VLM-anonymous/REO-VLM

下载链接

链接失效反馈

官方服务：

资源简介：

REO-Instruct是一个为地球观测科学分析量身定制的大规模多模态基准数据集。它包括160万对EO图像-文本对用于训练，涵盖RGB、多光谱（Sentinel-2）和SAR（ALOS-2 PALSAR-2）图像。文本注释包括土地覆盖分类、生态斑块计数、人类活动的视觉问答以及地上生物量回归。

REO-Instruct is a large-scale multimodal benchmark dataset tailored for Earth Observation (EO) scientific analysis. It contains 1.6 million pairs of EO image-text pairs for training, covering RGB, multispectral (Sentinel-2) and SAR (ALOS-2 PALSAR-2) images. The text annotations include land cover classification, ecological patch counting, visual question answering regarding human activities, and above-ground biomass regression.

创建时间：

2025-03-08

原始信息汇总

REO-VLM数据集概述

数据集背景

项目名称: REO-VLM: Transforming VLM to Meet Regression Challenges in Earth Observation
核心目标: 为地球观测(EO)领域的科学回归任务定制视觉语言模型(VLM)
主要贡献:
- 提出REO-VLM模型
- 构建首个支持回归和生成任务的统一EO基准REO-Instruct

数据集特点

技术挑战

符号与连续输出矛盾: VLM离散标记生成与连续数值回归需求不匹配
数值优化缺失: 多数VLM优化目标为标记预测而非数值损失最小化
多标记数字误差传播: 数值作为标记序列生成时误差累积
模态不对齐: 异构输入(RGB/MS/SAR)的表示对齐困难

REO-Instruct基准

数据收集原则:
- 充分必要模态: 包含RGB、多光谱(Sentinel-2)和SAR(ALOS-2)影像
- 平衡多样性: 覆盖广泛土地类型、AGB水平、地理区域和人为影响
- 科学标注: 包含专家验证的土地覆盖、生态特征、人类活动和AGB真值描述
数据集规模:
- 160万EO图文对
- 包含三种影像模态:
  - RGB
  - 多光谱(Sentinel-2)
  - SAR(ALOS-2 PALSAR-2)
- 文本标注内容:
  - 土地覆盖分类
  - 生态斑块计数
  - 人类活动VQA
  - 地上生物量回归

数据获取

EO影像数据:
- 训练集: https://pan.baidu.com/s/1IQyNrzVverciNmqjWtsnrg?pwd=5vw6 (提取码:5vw6)
- 验证集: https://pan.baidu.com/s/16FTPJt4zcAxq767qApH4ww?pwd=gwjy (提取码:gwjy)
- 测试集: https://pan.baidu.com/s/1ABSxkBR_2s7_MUz42JoF1g?pwd=y7gv (提取码:y7gv)
文本标注:
- 训练集:
  - Stage 1: https://drive.google.com/drive/folders/1H9KaoaMYBXH3lNpHD9_E_7rboTNBMosg
  - Stage 2: https://drive.google.com/file/d/1UIs3lCun1l5DXbj58gJhnw2srBwG9k9E/view
- 验证集: https://drive.google.com/drive/folders/1d8bKSJXf21nOFUN9GCUZsMk49U25_hQs
- 测试集: https://drive.google.com/drive/folders/1OoQDcRyuT4npc6uxHoKi-NxBMj3MSBT9

相关资源

预训练模型: 开发中(TODO: Model Zoo)
计划集成: TorchGeo(进行中)
引用文献: bibtex @article{sialelli2024agbd, title = {AGBD: A Global-scale Biomass Dataset}, author = {Sialelli, Ghjulia and Peters, Torben and Wegner, Jan D. and Schindler, Konrad}, journal = {arXiv preprint arXiv:2406.04928}, year = {2024} }

搜集汇总

数据集介绍

构建方式

在地球观测领域，REO-Instruct数据集的构建体现了多模态融合与科学严谨性的完美结合。该数据集通过整合RGB影像、多光谱Sentinel-2数据以及ALOS-2 PALSAR-2合成孔径雷达影像，构建了包含160万组图像-文本对的大规模基准。文本标注融合了土地覆盖分类、生态斑块计数、人类活动视觉问答及地上生物量回归等专业领域知识，所有数据均经过地理区域、植被覆盖类型和人为影响程度的均衡筛选，确保数据代表性和科学价值。

特点

REO-Instruct作为首个支持回归与生成双任务的统一基准，其核心优势在于突破传统视觉语言模型离散符号输出的局限。数据集特有的连续数值标注机制有效解决了生物量等连续变量的精确回归难题，多模态数据间的光谱重组策略则实现了异源遥感数据的高效对齐。文本注释中嵌入的生态特征描述与人类活动分析，为模型提供了兼具数值精度和语义深度的学习素材。

使用方法

使用该数据集时，研究人员可通过提供的百度云链接分阶段下载训练、验证和测试集，配套的文本标注存储在Google Drive平台。数据集支持端到端的模型训练流程，用户可基于PyTorch框架加载多模态影像数据与结构化标注，通过REO-VLM框架特有的反向投影模块实现视觉-语言特征的跨模态融合。测试阶段建议采用定制回归头进行生物量预测，并配合视觉标记选择机制优化空间特征提取效能。

背景与挑战

背景概述

REO-Instruct数据集由研究团队在2024年推出的地球观测领域多模态基准数据集，旨在解决视觉语言模型在科学回归任务中的关键挑战。该数据集由RGB、多光谱（Sentinel-2）和合成孔径雷达（ALOS-2）影像构成，包含160万组图像-文本对，覆盖地表分类、生态斑块计数、人类活动问答及地上生物量回归等多维度标注。其创新性在于首次统一了回归与生成任务评估框架，并融合了领域专家知识标注，为遥感影像分析与生态参数反演提供了新的研究范式。

当前挑战

REO-Instruct针对视觉语言模型在连续数值回归中的固有缺陷提出四大核心挑战：离散符号输出与连续生物物理量（如生物量）预测间的本质矛盾；传统文本生成优化目标与数值精度损失的优化错位；多令牌数字生成时的误差累积效应；以及多源异构遥感数据（光学/雷达）的模态对齐难题。在构建层面，需平衡全球范围地表覆盖类型与生物量梯度的代表性，同时确保多模态数据采集的时空一致性，这对标注质量与计算架构设计提出了双重考验。

常用场景

经典使用场景

在遥感与地球观测领域，REO-Instruct数据集通过整合多模态影像数据与科学标注，为视觉语言模型在连续数值回归任务中的性能评估提供了标准化测试平台。其典型应用场景包括利用RGB、多光谱与SAR影像联合预测地表生物量，同时完成土地覆盖分类、生态斑块计数等跨模态理解任务，为地理空间智能研究提供了多维度的验证框架。

衍生相关工作

该数据集催生了包括REO-VLM在内的一系列创新研究，其提出的反向投影模块与光谱重组策略已被TorchGeo等开源库采纳。相关成果推动了《AGBD全球生物量数据集》等基准的建立，并为后续工作如多模态遥感预训练、域适应回归模型等提供了基础实验平台。

数据集最近研究