Voxel51/LettuceMOTS

LettuceMOTS是一个生菜多目标跟踪与分割（MOTS）数据集，由中国农业大学开发的农业机器人VegeBot搭载的向下拍摄RGB摄像头在生菜农场行间移动时采集。机器人的运动包括直线、前后移动以及转向轨迹，因此同一生菜植物频繁退出并随后重新进入摄像头的视野。该数据集专门构建以支持这些“重新出现”植物的重识别——在长时间缺席后恢复植物的原始轨迹ID——这是机器人必须沿农场行来回移动时精确喷洒每个蔬菜一次的关键未解决问题。LettuceMOTS is a lettuce multi-object tracking and segmentation (MOTS) dataset captured by a downward-facing RGB camera mounted on VegeBot, an agricultural robot developed by China Agricultural University, as it traveled through rows of a lettuce farm. The robots motion includes straight, backward-and-forward, and turning-out-and-in trajectories, so the same lettuce plant frequently exits and later re-enters the cameras field of view. The dataset was built specifically to support re-identification of these "re-occurred" plants — recovering a plants original track ID after a long absence — which is the key unsolved problem for robots that must spray each vegetable exactly once while moving back and forth along farm rows.

搜集汇总

数据集介绍

构建方式

LettuceMOTS数据集专为农业机器人精准喷洒场景下的多目标跟踪与分割任务而构建。数据采集借助中国农业大学研发的VegeBot农业机器人，搭载向下固定的RGB摄像头，于2022年9月至10月在北京通州区的生菜农田中完成。机器人沿着垄间行进，轨迹涵盖直线、前后往复以及转弯出入等多种模式，使得同一株生菜频繁离开视野后又重新出现，从而创造出极具挑战性的长间隔重识别场景。原始图像以1920×1080分辨率、15帧每秒的速率采集，后经裁剪至810×1080以去除无关背景。标注环节采用CVAT工具进行逐帧实例分割与持续跨帧的跟踪ID标记，最终以KITTI-MOTS风格的RLE格式存储，共计12个视频序列、1308帧图像，覆盖苗期、结球期和包心期三个生长阶段。

使用方法

使用者可通过FiftyOne加载该数据集，需先安装fiftyone库，随后调用`load_from_hub("Voxel51/LettuceMOTS")`即可获取包含12个视频样本的数据集对象。每个样本的帧字段中存储了`ground_truth`标注，包含实例掩码、边界框及跟踪ID（以`index`字段表示）。可直接用于训练和评估实例分割模型（如YOLOv5-seg）以及多目标跟踪与分割方法，尤其适合测试数据关联策略在处理长期遮挡与重识别方面的表现。Fiftyone框架提供了便捷的App交互界面，支持动态播放、轨迹追踪与标注叠加分析。原始代码仓库中还附带了基于形状特征跟踪的参考实现与预训练权重，便于复现论文中的实验结果。

背景与挑战

背景概述

LettuceMOTS数据集由中国农业大学的胡楠等人于2024年创建，发表于《Journal of Field Robotics》，旨在解决农业机器人精准喷洒中的视觉感知难题。该数据集通过搭载于VegeBot农业机器人上的下视RGB相机，在北京市通州区的生菜农场中采集而成，涵盖了幼苗期、莲座期及结球期三个生长阶段的12个视频序列，总计1308帧图像。核心研究问题聚焦于多目标跟踪与分割中植物重新识别的挑战，尤其针对机器人往复运动时植物离开视野后再次出现的情形。该数据集为评估农业场景下长期遮挡后的重识别算法提供了独特基准，推动了农业机器人精准喷洒技术的发展，对精细农业和机器人视觉领域具有重要影响力。

当前挑战

LettuceMOTS所解决的领域核心挑战是农业机器人在田间往复作业时，植物频繁离开并重新进入视野，导致传统多目标跟踪算法无法有效维持轨迹连续性，进而引发重复喷洒问题。现有数据集仅考虑单向运动，缺乏对长期遮挡后重识别场景的支持。在数据集构建过程中，挑战同样显著：相机随机器人经历直线前进、后退及转弯等复杂运动轨迹，生菜植株间距仅为0.15-0.25米且杂草密度高达10株/平方米，为实例分割和跨帧身份关联带来严峻考验。此外，数据标注采用CVAT工具逐帧生成RLE格式掩码并维持跨帧轨迹ID，在手动标注和格式统一化过程中需确保314个对象实例与17562个掩码标注的精确对齐，技术实施难度较高。

常用场景

经典使用场景

LettuceMOTS数据集专为农业机器人视野下的生菜多目标跟踪与分割（MOTS）任务而设计，其核心使用场景聚焦于评估和训练模型在田间复杂环境中对植物的精准分割与持久性身份追踪。该数据集通过模拟机器人前行、倒退、转弯等真实作业轨迹，特别引入了生菜植株在长时间离开视野后重新出现的“重识别”挑战，为验证算法在长间隔遮挡与再入镜情况下的跟踪鲁棒性提供了不可多得的基准。研究者可基于该数据集训练实例分割网络并联合数据关联策略，从而推动农业机器人感知系统在非理想运动模式下的性能提升。

解决学术问题

该数据集有效解决了农业机器人精准喷雾领域中长期被忽视的学术难题——即植株在离开相机视野后再次出现时的身份恢复问题。在传统单一路径农业跟踪数据集中，目标一旦消失即被永久丢弃，而真实作业中机器人因避障、调头等动作导致的植株再入镜场景却频繁发生。LettuceMOTS通过精心设计的轨迹数据，首次为这一重识别问题提供了标准化的评测平台，促使研究者从单纯关注短期遮挡鲁棒性转向探索长间隔重识别机制，对推动农业自动化领域的数据关联理论与感知架构革新具有深远意义。

实际应用

在实际应用中，LettuceMOTS数据集直接服务于精准农业机器人喷雾系统的感知模块研发。基于该数据集训练的模型可集成于VegeBot类农业平台，实现从叶片实例分割、植株ID追踪到喷洒决策的端到端视觉处理流水线。其核心价值在于使机器人能够在往返作业过程中准确判断每株生菜是否已被施药，从而有效避免重复喷洒造成的农药浪费与环境污染，或漏喷引发的病虫害防控漏洞。此外，该数据集所验证的技术方案还可迁移至其他行栽作物的精准管理场景，为智能农业装备的产业化落地提供关键的感知支撑。

数据集最近研究

最新研究方向

LettuceMOTS数据集的构建直击农业精准喷雾机器人作业中的核心瓶颈——作物在机器人往复运动或离开再入视野时的长期重识别问题。该数据集创新性地模拟了机器人直行、后退和转弯等真实作业轨迹，使同一植株频繁离开并重新进入相机视野，为评测多目标跟踪与分割算法在长时消失后的身份重关联能力提供了独特基准。当前，该领域的前沿探索集中于结合几何形状特征与时序关联方法的端到端感知方案，以解决传统MOTS模型因缺乏重识别机制而导致的重复喷雾难题。这一研究不仅推动了农业机器人从静态环境向动态作业场景的迁移，也为精准农业中“每株植物精准施药一次”的终极目标奠定了关键数据与算法基础。