ImAg4Wheat

ImAg4Wheat是目前为止最大的全球小麦图像数据集，包含了超过250万张高分辨率图像，这些图像是在过去十年间，在30个全球站点，跨越2000个小麦基因型和500种不同的环境条件下收集的。数据集涵盖了整个小麦生长周期，所有图像都是使用地面表型平台在小麦育种或实验田中拍摄的，地面采样距离（GSD）从0.1毫米到0.4毫米不等。利用这个广泛的数据集，研究人员开发了FoMo4Wheat模型，这是第一个专门针对作物领域的视觉基础模型。通过在10个代表性的农业视觉任务上进行基准测试，FoMo4Wheat模型在所有任务中都表现出了优于现有模型的性能，特别是在具有挑战性的逐像素分割任务上。FoMo4Wheat模型和ImAg4Wheat数据集已公开发布，可供研究人员使用。

ImAg4Wheat is the largest global wheat image dataset to date, containing over 2.5 million high-resolution images. These images were collected over the past decade across 30 global sites, spanning 2000 wheat genotypes and 500 distinct environmental conditions. The dataset covers the entire wheat growth cycle, and all images were captured using ground-based phenotyping platforms in wheat breeding or experimental fields, with ground sampling distance (GSD) ranging from 0.1 mm to 0.4 mm. Leveraging this extensive dataset, researchers developed the FoMo4Wheat model, the first visual foundation model specifically tailored for the crop domain. Benchmarked on 10 representative agricultural vision tasks, the FoMo4Wheat model outperformed existing models across all tasks, particularly on the challenging pixel-wise segmentation task. Both the FoMo4Wheat model and the ImAg4Wheat dataset have been publicly released for research use.

搜集汇总

数据集介绍

构建方式

ImAg4Wheat数据集的构建依托全球协作网络，历时十年跨越10个国家30个站点系统采集。通过标准化田间试验协议和高通量表型成像技术，整合了超过2,000个小麦基因型和500种环境条件的高分辨率RGB图像。采用混合尺度随机裁剪策略，将原始图像统一处理为512×512至1024×512像素的规范格式，既保留了冠层结构和器官细节的空间分辨率，又确保了跨地域、年份和空间尺度的数据平衡性与多样性。

特点

该数据集囊括250万张高质量图像，呈现三大核心特征：一是全球代表性，覆盖从萌芽到成熟的全生长周期，捕捉了基因型-环境互作引起的表型变异；二是多尺度分辨率，地面采样距离介于0.1-0.4毫米，清晰展现植株、器官及土壤表面的细微结构；三是生态真实性，所有图像均源自育种田和试验田，涵盖不同土壤类型、气候条件和栽培措施，为模型训练提供了高度逼真的农业场景。

使用方法

数据集专为计算机视觉任务设计，支持自监督预训练与下游任务微调。预训练阶段采用掩码图像建模和对比学习策略，学习小麦特有的视觉表征。下游应用时，冻结主干网络参数，通过轻量化任务适配器实现分类、检测、计数和分割四大任务。具体包括小麦生育期分类、病害识别、穗部检测、叶片计数以及多作物器官分割，其学习到的表征可迁移至水稻等形态相似作物及杂草识别任务。

背景与挑战

背景概述

ImAg4Wheat数据集由南京农业大学联合全球30个科研机构于2024年共同构建，是迄今为止规模最大、多样性最丰富的小麦图像数据集。该数据集汇集了来自10个国家、跨越十年的250万张高分辨率小麦图像，涵盖2000余种基因型和500多种环境条件，完整记录了小麦从出苗到成熟的全生长周期。作为作物表型研究的重要基础设施，该数据集为小麦特异性视觉基础模型FoMo4Wheat的研发提供了数据支撑，显著提升了农业视觉任务在真实田间条件下的泛化能力，推动了数字农业领域从通用模型向作物专属模型的范式转变。

当前挑战

在领域问题层面，ImAg4Wheat致力于解决农业视觉任务中因作物精细结构与复杂环境交互导致的模型泛化难题，其核心挑战在于克服小麦图像中重叠器官、遗传变异和光照变化等因素造成的形态复杂性。在构建过程中，团队面临多源数据整合的严峻挑战，需协调不同国家采集设备的分辨率差异与标注标准统一，同时要处理十年间环境变量对图像质量的影响，并通过混合尺度随机裁剪策略平衡全球区域、年份和空间尺度的数据多样性。

常用场景

经典使用场景

在数字农业领域，ImAg4Wheat数据集作为全球规模最大、多样性最丰富的小麦图像资源，其经典应用场景集中于小麦作物表型分析。该数据集通过整合全球30个站点、跨越十年的高分辨率图像，覆盖2000余种基因型和500多种环境条件，为研究人员提供了分析小麦冠层结构、器官形态及生长动态的标准化数据基础。尤其在冠层水平分类任务中，该数据集支持模型准确识别小麦生育阶段和病害类型，为精准农业管理提供关键视觉依据。

实际应用

在实际农业场景中，ImAg4Wheat支撑的模型已应用于无人机田间监测、精准施肥和自动化育种等多个环节。例如，基于该数据集训练的FoMo4Wheat模型能够准确识别田间小麦穗部密度，为产量预估提供数据支持；在病害管理方面，模型可实时检测锈病、白粉病等常见病害，指导精准施药。此外，该数据集还助力开发适用于移动设备的轻量化模型，推动技术在实际农场环境中的部署与应用。

衍生相关工作

以ImAg4Wheat为基础衍生的经典工作包括首个小麦视觉基础模型FoMo4Wheat及其在多作物场景的扩展应用。这些研究不仅验证了小麦专属预训练在十项下游任务中的优越性，还探索了模型向水稻、杂草等其他作物的跨物种迁移能力。后续工作进一步开发了针对器官分割、穗部检测的专用算法，并推动了农业基础模型向多模态、跨任务方向的演进，为构建通用作物模型（如FoMo4Crop）奠定了理论与实践基础。