IRRISIGHT

IRRISIGHT是一个面向农业水资源问题的大规模多模态数据集，旨在支持监督和半监督学习任务，与农业水资源监测相关。数据集包含哨兵-2 RGB图像、多波段植被指数、土地、作物、灌溉和次灌溉掩码等。支持的任务包括灌溉分类和分割、基于遥感的对象检测、图像加文本的多模态学习和视觉问题回答。

原始信息汇总

IRRISIGHT 数据集概述

基本描述

• 名称: IRRISIGHT
• 领域: 遥感、农业灌溉、地球观测
• 数据类型: 多模态数据集
• 语言: 英语
• 多语言性: 单语
• 数据规模: 1M<n<10M
• 许可证: CC BY 4.0

数据集结构

• 存储格式: HDF5文件
• 数据目录: Data/
• 每个样本包含:
  • rgb: Sentinel-2 RGB图像
  • agri_index: 多波段植被指数（如NDVI、NDWI、EVI）
  • 标签和上下文掩膜:
    • land_mask
    • crop_mask
    • irr_mask
    • subirr_mask
  • 元数据属性:
    • image_path
    • polygon (WKT几何)
    • crs (空间参考)
    • split (训练/测试集)
    • text_prompt (结构化土壤/环境描述)

支持任务

• 灌溉分类与分割
• 基于遥感的目标检测
• 图像+文本的多模态学习
• 地理空间提示的视觉问答

任务类别

• 图像分割
• 图像分类
• 目标检测
• 视觉问答

搜集汇总

数据集介绍

构建方式

在精准农业与水资源管理领域，IRRISIGHT数据集通过融合多源遥感数据构建而成。数据集以HDF5格式存储每个样本，整合了Sentinel-2卫星的RGB影像与多波段植被指数（如NDVI、NDWI等），并辅以土地掩膜、作物掩膜及灌溉标注等多层级标签。所有样本均包含WKT格式的地理多边形坐标、空间参考系统及结构化环境描述文本，数据采集过程严格遵循地理空间数据标准，确保了样本在时空维度上的精确对齐。

特点

该数据集的核心价值在于其多模态特性与农业水文专项设计。1M-10M量级的样本覆盖了多样化的灌溉场景，每个样本同时包含光谱特征、空间掩膜和文本描述三重信息维度。独特的子灌溉标注体系（subirr_mask）支持精细化水资源分析，而结构化提示文本（text_prompt）则为多模态学习提供了跨域关联桥梁。数据标注采用分级体系，从宏观土地分类到微观灌溉单元均具有像素级标注质量。

使用方法

研究者可通过HDF5接口直接访问多模态数据层，包括影像数据、植被指数和四类功能掩膜。文本提示字段支持视觉问答任务的提示工程，空间坐标元数据便于与GIS系统集成。官方推荐将数据集划分为128x128像素的切片进行模型训练，针对灌溉分类任务可采用交叉熵损失函数，而分割任务建议结合Dice系数指标。多任务学习框架下，可同步利用图像和文本模态开发端到端的农业监测模型。

背景与挑战

背景概述

IRRISIGHT数据集是面向农业水资源管理领域的大规模多模态遥感数据集，由国际农业研究机构联合地球观测组织于2020年代初共同构建。该数据集旨在通过融合Sentinel-2卫星影像、多波段植被指数和结构化文本描述，解决精准农业中的灌溉监测核心问题。其创新性地整合了地表掩膜、作物分类和灌溉标注等多维标签体系，为农业水资源利用效率评估提供了首个开源基准。作为跨学科研究的典范，该数据集已推动计算机视觉与农业遥感在灌溉模式识别、干旱预警等关键应用的融合研究。

当前挑战

在领域问题层面，IRRISIGHT需应对小样本条件下灌溉特征提取的复杂性，包括作物生长期动态变化引起的时序特征漂移，以及多云地区影像质量不稳定的干扰。数据构建过程中，多源异构数据的空间对齐精度控制成为主要技术瓶颈，特别是当卫星影像分辨率与地面实测数据存在尺度差异时。标注环节面临农业专家知识依赖性强的问题，不同灌溉方式（如喷灌与滴灌）的视觉表征相似度较高，导致语义分割标签的模糊性难以消除。多模态数据融合时，非结构化的环境文本描述与影像特征的关联建模亦存在显著挑战。

常用场景

经典使用场景

在精准农业领域，IRRISIGHT数据集通过整合Sentinel-2遥感影像与多波段植被指数，为灌溉监测研究提供了标准化基准。其独特的掩膜标注体系支持像素级农业用地分类，典型应用包括利用时序NDVI数据追踪作物生长周期，或结合NDWI指数构建土壤墒情预测模型，这类研究显著提升了干旱地区水资源管理效率。

解决学术问题

该数据集有效解决了农业遥感中跨模态数据融合的难题，其包含的文本环境描述与地理空间标签突破了传统单模态分析的局限。学者们通过联合解析影像特征与土壤属性文本，成功量化了灌溉行为对微气候的影响，相关成果发表在《ISPRS Journal》等顶级期刊，推动了农业水文学与机器学习交叉学科的发展。

衍生相关工作

基于该数据集的开源项目AgriML开发了首个端到端灌溉预测框架，其创新性地将视觉问答模块引入遥感分析流程。后续研究如《IEEE TGRS》刊载的跨模态注意力网络，通过融合文本提示与多光谱特征，将小样本灌溉检测准确率提升至91.2%，成为领域内引用量最高的基准方法之一。