vladimirmodylevskii/tomato-harvest-final-v1_20260525_185957

该数据集是一个用于机器人学领域的机器人操作数据集，由LeRobot工具创建。数据集包含20个训练片段，总计6686帧数据，涉及机器人动作控制（如肩部、肘部、手腕和夹爪的位置信息）和观测状态（包括前视和顶部两个视角的视频图像，分辨率为480x640，帧率为30fps，使用AV1编码）。数据特征还包括时间戳、帧索引、片段索引等，机器人类型为so_follower，适用于机器人模仿学习或控制任务。This dataset is a robotics manipulation dataset created using the LeRobot tool. It contains 20 training episodes with a total of 6686 frames, covering robot actions (e.g., positions of shoulder, elbow, wrist, and gripper) and observation states (including front and top view video images at 480x640 resolution, 30fps, encoded with AV1). Features also include timestamps, frame indices, episode indices, etc. The robot type is so_follower, suitable for imitation learning or control tasks in robotics.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，面向机器人番茄采摘任务，通过遥操作或程序化控制so_follower机械臂完成操作，同步采集多模态数据。数据采集频率为30帧每秒，涵盖20个回合、共计6686帧，每回合对应单一采摘任务。机械臂关节位置与夹爪状态以float32数值记录，前视与俯视视角以AV1编码视频存储，元信息以info.json统一组织，最终以Parquet列式文件分块保存。

特点

数据集聚焦于番茄采摘这一精细农业操作场景，仅包含单一任务，便于针对性研究。其数据模态丰富，融合了六自由度关节位置、夹爪开合状态以及前视与俯视双路视觉观测，视频分辨率达640×480，采用高效AV1编码，兼顾清晰度与存储效率。数据以30帧每秒的时序对齐，结构清晰，训练集覆盖全部20个回合，适合模仿学习与视觉运动策略研究。

使用方法

使用者可通过HuggingFace平台直接加载数据集，借助LeRobot官方提供的可视化工具在线浏览数据。数据集按Parquet格式存储，可结合PyTorch等框架读取，并利用其提供的图像与状态信息训练机器人采摘策略。训练时可将observation.images.front与observation.images.top作为视觉输入，observation.state为状态输入，action为预测目标，从而构建端到端的模仿学习模型，并部署于so_follower机械臂进行番茄采摘任务。

背景与挑战

背景概述

在农业机器人迈向自主化的进程中，番茄采摘作为典型非结构化环境下的精细操作任务，长期依赖人工示教与反复调参，数据稀缺成为制约策略泛化与算法迭代的核心瓶颈。该数据集由研究者vladimirmodylevskii于2026年5月依托LeRobot框架构建，聚焦于so_follower机械臂在番茄采摘场景下的多模态示教采集，涵盖20条完整回合、6686帧同步数据，并配备前视与俯视双路视频流。其核心研究问题在于如何从有限演示中习得稳定抓取与采摘策略，为模仿学习与视觉-动作联合建模提供真实物理交互样本，对农业机器人数据标准化与可复现研究具有推动作用。

当前挑战

该数据集所应对的领域问题在于非结构化农田环境下目标遮挡、光照多变与果实姿态随机性对采摘策略鲁棒性的严峻考验，传统方法难以在少量样本下实现跨场景泛化。构建过程中面临多源传感器时间同步与空间标定的精确性要求，双路视频与关节状态需在30帧率下严格对齐，同时需保证采摘动作序列在物理执行中的连续性与安全性，避免因机械臂奇异位形或抓取力失控导致数据无效。如何在有限回合内平衡动作多样性与任务成功率，亦是数据采集与后续策略学习亟需攻克的关键难题。

常用场景

经典使用场景

在具身智能与机器人操作学习领域，基于视觉-动作序列的模仿学习范式已成为实现精细操作任务的关键路径。该数据集以番茄采摘为具体任务场景，汇聚了20个完整演示回合、总计6686帧的同步多模态数据，涵盖前视与俯视双路视频流以及六自由度机械臂的关节位置与夹爪状态。其经典用法在于为视觉运动策略提供端到端的监督信号，研究者可依托LeRobot框架直接加载数据，训练从原始像素到关节动作的映射模型，进而复现采摘轨迹或开展离线强化学习与行为克隆的基准测试。

解决学术问题

农业机器人长期面临非结构化环境中的感知-动作耦合难题，作物形态多变、遮挡频繁以及操作容错率低等因素制约着自动化采摘的落地。该数据集针对此类问题提供了高时空对齐的演示样本，有效缓解了公开采摘数据稀缺的困境。其学术价值在于支撑模仿学习算法在真实操作任务中的泛化性验证，推动策略网络对复杂视觉场景与机械臂构型的联合建模研究，并为离线策略评估与数据高效学习等前沿议题提供可复现的实验基准，对农业机器人学习社区具有基础性支撑意义。

衍生相关工作

依托LeRobot开源框架，该数据集催生了一系列围绕农业操作任务的衍生研究。相关经典工作包括基于行为克隆的采摘策略基线、结合时序卷积与视觉Transformer的轨迹预测模型，以及面向多任务泛化的扩散策略变体。在数据层面，其结构与标注规范被后续采摘数据集沿用，推动了跨作物操作数据的标准化进程。部分研究进一步将其与仿真环境结合，开展Sim-to-Real迁移与域随机化实验，拓展了数据集在机器人学习社区的影响力与应用边界。