YieldSAT
收藏资源简介:
YieldSAT是由德国人工智能研究中心等机构联合构建的多模态农作物产量预测基准数据集,覆盖阿根廷、巴西等4个国家的小麦、大豆等4类主要作物。该数据集包含2,173个专家标注田块,总计1,220万条10米分辨率的产量样本,并配套11.3万张多光谱卫星影像及环境辅助数据。数据通过联合卫星遥感、气象土壤等多源信息,经标准化预处理流程构建,旨在推动数字农业领域的高分辨率产量预测模型开发,解决现有数据稀缺性、低质量及区域局限性问题。
YieldSAT is a multimodal crop yield prediction benchmark dataset jointly constructed by institutions including the German Research Center for Artificial Intelligence. It covers four major crop types such as wheat and soybean across four countries including Argentina and Brazil. This dataset contains 2,173 expert-annotated agricultural field plots, with a total of 12.2 million yield samples at 10-meter spatial resolution, and is accompanied by 113,000 multispectral satellite images and environmental auxiliary datasets. Constructed through standardized preprocessing pipelines that fuse multi-source information including satellite remote sensing, meteorological and soil data, this dataset aims to promote the development of high-resolution yield prediction models in the field of digital agriculture, and address the problems of data scarcity, low quality and regional limitations of existing datasets.
YieldSAT数据集概述
数据集基本信息
- 数据集名称: YieldSAT: A Multimodal Benchmark Dataset for High-Resolution Crop Yield Prediction
- 发布机构: RPTU Kaiserslautern-Landau, DFKI GmbH, Vision Impulse GmbH, University of Groningen
- 发布会议: CVPR 2026
核心特点与定位
- 首个同时支持田块级别和亚田块(像素)级别作物产量预测的多模态数据集。
- 结合了联合收割机产量数据、哨兵2号时间序列、天气、土壤和地形信息。
- 覆盖4个国家(阿根廷、巴西、乌拉圭、德国)、4种作物类型(玉米、油菜籽、大豆、小麦)和9个年份(2016-2024)。
数据集规模与构成
- 田块数量: 2,173个(专家人工检查)
- 总覆盖面积: 138,288公顷(约1,383 km²)
- 产量样本数: 超过1220万个
- 空间分辨率: 10米 × 10米
- 卫星图像数量: 113,555张(已标注)
- 特征数量: 72个
作物与国家分布详情
| 国家 | 玉米 | 油菜籽 | 大豆 | 小麦 | 总田块数 | 平均田块大小 (公顷) | 覆盖年份 |
|---|---|---|---|---|---|---|---|
| 阿根廷 | 185 | - | 440 | 126 | 751 | 74.3 | 2017-2024 |
| 巴西 | 118 | - | 293 | 140 | 551 | 78.2 | 2017-2024 |
| 乌拉圭 | - | - | 572 | - | 572 | 57.3 | 2018-2022 |
| 德国 | - | 111 | - | 188 | 299 | 21.6 | 2016-2022 |
| 总计 | 303 | 111 | 1,305 | 454 | 2,173 | 57.8 | 2016-2024 |
数据模态详情
1. 联合收割机产量数据(核心)
- 来源: 配备GPS和产量监测系统的联合收割机。
- 内容: 地理坐标(经纬度)、湿产量、水分含量、时间戳。
- 处理流程:
- 格式标准化: 转换为shapefile格式,坐标系从WGS84转换为UTM。
- 质量控制: 农业专家人工检查和分类(好、中、差)。
- 异常值去除: 去除零产量、生物学上不可行的值(作物特定最大阈值)和统计异常值(±3σ)。
- 水分校正: 使用公式转换为标准干产量。
- 栅格化: 使用空间平均法转换为与哨兵2号网格对齐的10米分辨率栅格格式。
2. 哨兵2号时间序列
- 产品级别: Level-2A。
- 时间范围: 整个生长季(从播种到收获),约5天间隔。
- 光谱波段: 13个波段(包括场景分类层SCL)。
- 空间分辨率: 所有波段统一上采样至10米(使用最近邻插值法)。
- SCL用途: 云掩膜和质量评估,提供12个类别标签(植被、非植被、水体、云、云阴影等)。
可用哨兵2号波段
| 波段 | 描述 | 中心波长 (nm) | 原生分辨率 (米) | 数据集分辨率 (米) |
|---|---|---|---|---|
| B01 | 海岸气溶胶 | 443 | 60 | 10 |
| B02 | 蓝 | 490 | 10 | 10 |
| B03 | 绿 | 560 | 10 | 10 |
| B04 | 红 | 665 | 10 | 10 |
| B05 | 红边1 | 705 | 20 | 10 |
| B06 | 红边2 | 740 | 20 | 10 |
| B07 | 红边3 | 783 | 20 | 10 |
| B08 | 近红外 | 842 | 10 | 10 |
| B8A | 窄近红外 | 865 | 20 | 10 |
| B09 | 水蒸气 | 945 | 60 | 10 |
| B10 | 短波红外卷云 | 1380 | 60 | 10 |
| B11 | 短波红外1 | 1610 | 20 | 10 |
| B12 | 短波红外2 | 2190 | 20 | 10 |
| SCL | 场景分类 | - | 20 | 10 |
3. 辅助环境数据
所有数据源满足标准:(1) 对作物生长有影响,(2) 可免费获取,(3) 全球覆盖,(4) 高空间分辨率。
天气数据
- 来源: ERA5-Land再分析数据(ECMWF)。
- 时间分辨率: 日。
- 变量: 最高温度、平均温度、最低温度、总降水量。
- 空间分辨率: 30公里(插值至田块中心点)。
- 覆盖范围: 整个生长季。
土壤属性
- 来源: SoilGrids 2.0。
- 变量: 土壤有机碳、氮、阳离子交换量、粘土含量、粉砂含量、砂含量、pH值、粗碎屑。
- 深度层: 6层(0-5, 5-15, 15-30, 30-60, 60-100, 100-200 厘米)。
- 空间分辨率: 原生250米,使用三次样条插值上采样至10米。
地形数据
- 来源: SRTM(航天飞机雷达地形测绘任务)。
- 空间分辨率: 原生30米,使用三次样条插值上采样至10米。
- 变量: 数字高程模型、坡度、坡向、曲率、地形湿度指数。
- 处理: 使用RichDEM库计算衍生特征。
管理信息
- 作物类型: 玉米、油菜籽、大豆、小麦。
- 播种日期: 农民报告或从NDVI时间序列估算。
- 收获日期: 从联合收割机时间戳提取。
- 田块边界: 每个田块手动数字化的多边形。
数据集格式
预处理格式(ML就绪)
- 格式: Xarray数据集。
- 时间步长: 24个均匀采样的时间步长。
- 融合策略: 通过连接和空间/时间重复进行输入融合。
- 用例: 快速原型设计、基线模型、快速实验和快速训练。
- 优势: 可立即用于训练,标准化格式。
灵活格式
- 格式: 每个模态的单独文件及元数据。
- 模态: 哨兵2号、天气、土壤、地形、产量的单独文件。
- 用例: 高级融合方法、自定义预处理、新颖架构。
- 优势: 完全灵活性,保留原始时间、空间和光谱分辨率。
基准测试与关键发现
评估架构
- 仅时序模型: LSTM, Transformer。
- 时空模型: 3D-LSTM, 3D-ConvLSTM。
- 简单融合: 输入融合。
- 高级融合: 多模态门控融合, 基于注意力的特征融合。
评估设置
- 10折交叉验证
- 留一区域出
- 留一年出
关键发现
- 空间建模很重要: 带有3D-CNN块的模型通常优于仅时序基线。
- 高级融合有益: 特征融合模型在标准CV10评估下保持竞争力。
- 田块级别 vs 像素级别: 田块级别预测通常得分更高。
- 数据集变异性: 性能在不同国家、作物和实验设置间差异很大。
- ADM效益取决于架构: 辅助模态可能有帮助,但其效果取决于融合方案和评估机制。
开放挑战:分布偏移
- 问题: 由于气候变异性、管理实践和环境条件,跨年份和区域的严重分布偏移。
- 影响: 模型在分布偏移下性能严重下降(LOYO下R²降低19个百分点,LORO下降低22个百分点)。
- 研究方向:
- 开发在分布偏移下保持性能的鲁棒模型。
- 将模型从一个区域/年份迁移到另一个的迁移学习方法。
- 在大规模地球观测数据上预训练以提高泛化能力的基础模型。
- 在偏移下为预测提供可靠置信度估计的不确定性量化。
- 结合作物生长模型和物理约束的物理信息方法。
- 理解模型所学内容及其在分布偏移下失败原因的可解释性。
引用
@inproceedings{miranda_2026_yieldsat, title={YieldSAT: A Multimodal Benchmark Dataset for High-Resolution Crop Yield Prediction}, author = {Miranda, Miro and Pathak, Deepak and Helber, Patrick and Bischke, Benjamin and Najjar, Hiba and Mena, Francisco and Sanchez, Cristhian and Pai, Akshay and Arenas, Diego and Toro, Matias Valdenegro and Charfualan, Marcela and Nuske, Marlon and Dengel, Andreas}, booktitle={Proceedings of the Computer Vision and Pattern Recognition Conference (CVPR)}, year={2026} }

- 1YieldSAT: A Multimodal Benchmark Dataset for High-Resolution Crop Yield Prediction凯泽斯劳滕-兰道大学; 德国人工智能研究中心; Vision Impulse有限公司; 格罗宁根大学 · 2026年



