w2836460946/weedsense

WeedSense数据集是一个多任务时序数据集，专注于杂草分析，包含16种杂草物种的语义分割、高度回归和生长阶段分类任务。数据集包含120,341帧图像，分辨率为720 x 960像素，覆盖11周的生长周期，共349个视频。标注类型包括分割掩码、高度（厘米）和生长阶段（周）。数据集分为训练集（80%）、验证集（10%）和测试集（10%）。每个图像文件遵循命名约定：{SPECIES}_week_{WEEK}_IMG_{VIDEO_ID}_frame_{FRAME}.{ext}。数据集还提供了详细的元数据CSV文件，包含图像文件名、物种、高度和生长周数等信息。分割掩码的像素值对应17个类别（16种杂草加背景）。数据收集地点为美国南伊利诺伊大学卡本代尔分校的温室，使用iPhone 15 Pro Max设备拍摄，并经过预处理和半自动标注。数据集适用于多任务学习，包括分割、高度估计和生长阶段分类。

The WeedSense dataset is a multi-task temporal dataset focused on weed analysis, featuring 16 weed species for semantic segmentation, height regression, and growth stage classification. It comprises 120,341 frames with a resolution of 720 x 960 pixels, covering an 11-week growth period across 349 videos. Annotation types include segmentation masks, height (in centimeters), and growth stage (in weeks). The dataset is split into training (80%), validation (10%), and test (10%) sets. Each image file follows the naming convention: {SPECIES}_week_{WEEK}_IMG_{VIDEO_ID}_frame_{FRAME}.{ext}. Detailed metadata CSV files are provided, containing image filenames, species, height, and growth week. Segmentation mask pixel values correspond to 17 classes (16 weed species plus background). Data was collected at the SIU Horticulture Research Center greenhouse using an iPhone 15 Pro Max, with preprocessing and semi-automatic annotation. The dataset is suitable for multi-task learning, including segmentation, height estimation, and growth stage classification.

搜集汇总

数据集介绍

构建方式

WeedSense数据集由南伊利诺伊大学卡本代尔分校团队在温室环境下系统采集，使用iPhone 15 Pro Max于1.5英尺高度拍摄16种杂草的360度视频，原始分辨率为1440×1920。采集过程中维持1000W高压钠灯补光与30-32摄氏度恒温环境。视频经时间域降采样（每两帧取一帧）和空间域降采样至720×960像素后，得到总计120,341帧图像。语义标注采用SAM2-Hiera-L模型进行半自动分割，并经人工校验与修正，生成包含17个语义类别（16种杂草与背景）的分割掩码。植株高度通过每周手动测量325次获取，范围覆盖0.2至155厘米，生长阶段以周为单位记录（1-11周）。

特点

该数据集的核心特色在于其多任务时序标注体系，每帧图像同时提供语义分割掩码、植株高度数值（厘米）和生长阶段周数三类标签，可同时支撑分割、回归与分类任务。数据集涵盖16种经济重要杂草，包含Amaranthus tuberculatus（最高155厘米）和Sorghum halepense（生长速率达14.06厘米/周）等快速生长物种，覆盖从慢速到快速的完整生长速率谱系，且提供长达11周的连续时序观测，为杂草物候学研究与精准农业算法开发提供了独特的时间维度数据资源。

使用方法

用户可通过Hugging Face的snapshot_download方法完整下载数据集，其目录结构按训练、验证、测试三划分组织，每份包含RGB图像压缩包、分割掩码压缩包、MMSegmentation格式掩码压缩包、VOC格式XML标注文件及元数据CSV文件。图像文件遵循'{物种EPPO代码}_week_{周数}_IMG_{视频ID}_frame_{帧号}.jpg'的命名规范，便于自动化索引。元数据CSV记录了每个样本的图像文件名、物种EPPO代码、高度（厘米）和周数，可直接使用pandas加载。分割掩码为单通道PNG图像，像素值0-16对应背景与各杂草类别。基准测试显示，基于WeedSense训练的模型在语义分割（mIoU 89.78%）、高度估计（MAE 1.67厘米）和生长阶段分类（准确率99.99%）上均取得优异性能。

背景与挑战

背景概述

随着精准农业对杂草管理的精细化需求日益增长，多任务学习框架在植物表型分析中展现出巨大潜力。由南伊利诺伊大学卡本代尔分校的Toqi Tahamid Sarker、Khaled R Ahmed等研究团队于2025年在ICCV会议上提出的WeedSense数据集，正是为了解决杂草语义分割、高度估计与生长阶段分类的联合建模问题而构建。该数据集包含超过12万帧高分辨率图像，覆盖16种主要杂草物种，并通过长达11周的时间序列观测捕捉其动态生长过程。数据集由349段360度视频经时序下采样与空间缩放生成，并辅以人工校验的半自动标注，其规模与多样性为多任务杂草分析提供了前所未有的基准，有力推动了精准农业中计算机视觉技术的实用化进程。

当前挑战

该数据集面临的挑战主要源于杂草表型分析的复杂性与数据构建的高昂成本。在领域问题层面，杂草与作物形态高度相似、物种间生长速率差异悬殊（如AMATU最大高度可达155cm而ERICA仅为17.3cm），使得语义分割难以精确区分边缘模糊的叶片与茎秆；同时，从二维图像回归连续高度值（0.2–155cm）并划分11个生长阶段，要求模型具备对尺度与时间变化的强鲁棒性。在构建过程中，温室环境下光照条件变化、摄像头360度拍摄导致的视角畸变，以及半自动分割（SAM2-Hiera-L）后需逐帧人工校验，均对数据一致性与标注精度构成严峻考验。此外，数据集遵循CC BY-NC-SA 4.0许可，限制了商业应用，但为学术界提供了高质量的多任务训练与评估资源。

常用场景

经典使用场景

WeedSense数据集为精准农业领域的多任务学习研究提供了宝贵的视觉基准资源。该数据集涵盖120,341帧高分辨率图像，聚焦于16种常见杂草物种的语义分割、高度回归与生长阶段分类三大核心任务。研究者可依据图像帧及其对应的像素级分割掩码、高度数值（厘米）和生长周数标签，训练模型同时完成杂草识别、形态量化与发育状态判别，从而在统一框架下解析杂草的时空动态变化。经典使用模式包括：基于卷积神经网络或Transformer架构构建共享编码器的多任务网络，以联合优化分割精度、高度估测误差与分类准确率；亦可利用时序采样机制（11周连续观测）研究杂草的纵向生长规律，推动农业视觉领域中细粒度表型分析的范式创新。

实际应用

在实际应用层面，WeedSense数据集直接助力智能除草机器人的感知系统升级。基于该数据训练的多任务模型能够同时完成田间杂草的像素级定位、植株高度估测与生长阶段判定，从而指导机器人执行差异化除草策略：例如，对高度低于10厘米、处于前两周生长期的杂草采用低剂量除草剂精准喷施，而对高度超过50厘米的成熟植株启动机械拔除。温室育种平台亦可利用该数据构建自动化表型流水线，实时监测不同品种的竞争性生长曲线，优化抗除草剂基因型的筛选效率。此外，数据集中包含VOC格式的边界框注释和MMSegmentation兼容格式，降低了部署至现有农业计算机视觉系统的技术门槛，加速了从实验室算法到田间装备的转化进程。

衍生相关工作

WeedSense数据集的发布催生了多条有价值的衍生研究脉络。其提出的多任务学习基线模型在ICCV 2025上发表后，立即激发了面向低算力场景的轻量化网络研究，例如通过知识蒸馏将学生模型压缩至适用于嵌入式Jetson平台，同时保持分割mIoU高于85%。另一方向是利用其时序特性开发基于因果推断的生长预测框架，如结合LSTM与注意力机制预测未来两周杂草高度与物种转移概率，并发表于农业人工智能顶级期刊。此外，数据集中16类杂草的高度-生长速率统计表已成为植物表型分析领域的重要参考标准，多篇综述论文直接引用其作为参数化杂草生长模型的验算数据集。在开源社区，基于WeedSense的PyTorch Lightning多任务训练范式和Weights & Biases监控模板被广泛复用于其他作物病害数据集，形成了一套可迁移的精细农业模型开发工具链。