Windrow Detection Dataset

该数据集由莱比锡大学智能农业实验室创建，是首个公开结合立体视觉与激光雷达的农作物行检测多模态数据集。包含35.9GB的公开子集（123秒操作数据）和262.2GB完整数据，采集自配备ZED2i立体相机和Ouster OS0-128激光雷达的拖拉机实地作业。数据通过ROS2 Humble格式发布，包含同步传感器数据与GNSS轨迹，主要用于开发无GPS自主牧草收割系统。其高精度传感器一致性（0.965±0.021）证明低成本立体视觉可接近激光雷达性能，为农业自动化研究提供了重要基准。This dataset was developed by the Smart Agriculture Lab at the University of Leipzig, and is the first publicly available multimodal dataset for crop row detection that combines stereo vision and LiDAR. It includes a 35.9 GB public subset (123 seconds of operational field data) and a full dataset totaling 262.2 GB, which was collected during field operations of a tractor equipped with a ZED2i stereo camera and an Ouster OS0-128 LiDAR. The data is released in ROS2 Humble format, containing synchronized sensor data and GNSS trajectories, and is primarily intended for the development of GPS-free autonomous forage harvesting systems. With a high-precision sensor alignment of 0.965±0.021, this dataset demonstrates that low-cost stereo vision can approach LiDAR performance, providing an important benchmark for agricultural automation research.

原始信息汇总

数据集概述

基本信息

• 数据集名称: ROS2 Multi-Modal Windrow Detection Dataset (Single-Row Subset)
• 版本: 1.0
• 发布机构: Zenodo
• DOI: 10.5281/zenodo.17486318
• 许可证: Creative Commons Attribution 4.0 International
• 发布日期: 2025-10-30

描述

该数据集是单行草条子集，记录了芬特 Vario 724 拖拉机在真实打捆作业过程中的多模态传感器同步数据。子集时长为 123 秒，数据量 35.9 GB（压缩后 20.7 GB），在稳定光照和地表条件下捕获。完整草条数据集因大小限制可应请求提供。

传感器配置

• Ouster OS0-128 激光雷达: 18.3 Hz，每帧 13.1 万个点
• ZED 2i 立体相机: 23.5 Hz，原始点云约 23 万个点，滤波后 6.6 万个点
• NovAtel OEM7 GNSS + IMU: 提供轨迹参考
• 五个辅助单色相机: ArkCam

数据格式与记录

• 记录框架: ROS 2 Humble
• 存储格式: MCAP
• 主要话题: /ouster/points、/zed/zed_node/point_cloud/cloud_registered、/zed/zed_node/odom、/novatel/oem7/fix 及同步相机流

研究应用

支持农业环境中的实时草条检测、传感器融合和基于 GPS 的导航相关研究。代码与参考实现见 GitHub 仓库 https://github.com/Gunreben/Windrow-Centerline-ROS2-Node（开发语言：C++，状态：活跃）。

文件与统计

• 文件: rosbag_windrow_detection_single_row.zip（20.7 GB，MD5: 55ddfe0ed832378fcb0006d41efa6f92）
• 统计（本版本）: 108 次查看，3 次下载，总数据量 82.7 GB

关键词

草条检测、自主收割、激光雷达、立体视觉、农业机器人、多模态数据集、ROS2、Jetson AGX Orin、实时感知、边缘计算、现场机器人、GPS 自由导航、传感器融合、开放数据集、饲料收获

搜集汇总

数据集介绍

构建方式

该数据集由Fendt 724拖拉机搭载多模态传感器平台在德国莱比锡大学Oberholz研究农场的真实打捆作业中采集，聚焦于草条这一关键感知目标。传感器组合包括前向的Ouster OS0-128 LiDAR（18.3 Hz，每帧约13.1万点）与ZED2i立体相机（23.5 Hz，经滤波后每帧约6.6万点），辅以Novatel OEM7 GNSS提供轨迹参考。数据以ROS2 Humble bag格式存储于Zenodo，公开子集涵盖123秒单一草条连续记录（35.9 GB），完整29分钟多草条及转向机动数据（262.2 GB）可通过请求获取。立体相机与LiDAR的外参通过ICP点云配准对齐，确保近场感知一致性。

特点

该数据集的核心特点在于首次公开融合立体视觉与LiDAR的草条检测多模态数据，为无GPS自主导航在饲草收获领域建立可复现基准。传感器间在4–10米关键引导范围内展现出高度一致性（0.965 ± 0.021），证实低成本立体相机在近场精度上可媲美昂贵LiDAR（约€450 vs €8,000）。数据以ROS2生态集成，便于直接部署于边缘计算设备（如NVIDIA Jetson AGX Orin），并实现>20 Hz实时处理。此外，数据来自真实田间作业，涵盖光照良好条件，同时暴露了镜头磨损需71%点滤波等实际部署挑战。

使用方法

该数据集主要面向农业自主导航与感知研究，使用者可通过Zenodo下载ROS2 Humble bag文件，直接回放以验证和比较不同草条检测算法。配套开源的ROS2权重质心法管道（GitHub提供）可作为基准，基于每纵切片高度加权平均提取草条中心线，支持实时边缘计算。建议研究者首先将数据流式传输至部署有ROS2环境的边缘设备（如Jetson AGX Orin）进行硬件在环测试，评估各模态在成本敏感农用场景下的性能权衡，并扩展至多草条场景与自动换行等高级功能开发。

背景与挑战

背景概述

在自主式饲草收获领域，草条检测是实现精准导航与高效作业的核心感知任务。由于草条是经切割与晾晒后形成的狭长作物堆，收获机械在打捆过程中需持续保持与草条的精确对齐，以确保捡拾效率与草捆成形质量。然而，当前商业草条引导系统的算法与训练数据均以专利形式保护，严重制约了科学界的可重复研究与开源系统的演进。为突破这一壁垒，来自莱比锡大学智慧农业实验室的Lorenz Gunreben等人于2026年提出了Windrow Detection Dataset，该数据集融合了ZED2i立体相机与Ouster OS0-128 LiDAR的多模态数据，并同步记录GNSS轨迹与拖拉机行进信息。作为首个公开且同时涵盖立体视觉与激光雷达的草条检测数据集，其以ROS2 Humble数据包形式发布于Zenodo平台，为GPS‑free自主导航与感知算法基准的确立奠定了坚实基础，在农业生产智能化研究领域产生了深远影响。

当前挑战

该数据集所面临的挑战首先体现在其核心研究问题的复杂性上：草条检测需在动态田间环境中实现实时、高鲁棒性的中心线提取，但现有方法多依赖单一传感器模态（如仅使用激光雷达或立体相机），且因缺乏公开数据集而难以进行公平比较与多模态融合验证。此外，数据集构建过程本身亦遭遇重重困难——传感器校准环节缺乏工厂级集成，研究中依赖手动标定与ICP配准实现立体相机至LiDAR坐标系的对齐，导致远场出现可观的侧向偏差；同时，田间作业期间相机镜头的物理磨损（如灰尘、划痕）引发严重噪声，需对71%的原始点云进行过滤剔除方可获得可用数据，极大压缩了有效观测容量。这些挑战共同构筑了该数据集建设与应用的独特难度，也凸显了其对于推动开放式农机自主感知研究不可替代的价值。

常用场景

经典使用场景

在智慧农业与自主收割作业的交叉领域中，Windrow Detection Dataset 为从拖拉机搭载的立体视觉与激光雷达传感器中实时检测草条提供了标准化的基准数据。其经典使用场景聚焦于无GPS依赖的自主导航，通过融合多模态感知信息，在4至10米的关键引导距离内，精准提取草条中心线，从而实现收割过程中的自动对齐与跟随。该数据集以ROS2 Humble格式发布，包含同步的传感器数据、GNSS轨迹以及开源的实时处理管线，为研究者提供了可复现的实验平台，推动了非结构化农业环境下感知算法的验证与优化。

衍生相关工作

Windrow Detection Dataset 的发布催生了一系列后续研究与工程实践。基于其开源的ROS2节点，研究者可在不同作物田块与环境下复现草条中心线提取算法，并拓展至多草条场景与自动变道控制。该数据集还被纳入更广泛的农业多模态感知基准计划，促使相关团队开发联合标定工具以降低传感器安装误差，并探索利用点云深度学习进行更鲁棒的草条分割。此外，其低成本立体视觉与激光雷达对比分析激发了针对农业环境中传感器耐久性和标定策略的专项研究，为构建全面、开放的农业感知评估体系奠定了基础。

数据集最近研究

最新研究方向

在自主牧草收割领域，传感器融合与边缘计算的结合正成为突破商业系统封闭性、推动开源研究的关键路径。Windrow Detection Dataset的发布标志着该领域首次公开了结合立体视觉与LiDAR的多模态数据集，其研究前沿聚焦于无GPS实时草捆检测的鲁棒性与可复现性。当前热点在于利用低成本传感器（如ZED2i）在严苛田间环境下逼近高精度LiDAR的性能，通过在NVIDIA Jetson AGX Orin上实现超过20Hz的实时处理，验证了边缘设备在农业自动化中的可行性。该工作不仅通过0.965±0.021的双传感器一致性评分证明了立体视觉的性价比优势，更以开放的ROS2管线与代码为学术界提供了标准化的对照基准，显著推动了开放、可复现的农业感知研究范式，对降低自主收割系统的技术门槛具有深远意义。

相关研究论文

• Real-time windrow detection from onboard tractor sensors for automated following

  莱比锡大学·智能农业实验室 · 2026年