piper-apple-picking-1m

Piper Apple Picking (Isaac Sim) 数据集是 LeRobot v3 系列中的一个机器人操作数据集，专注于苹果采摘任务。该数据集在 Isaac Lab / Isaac Sim 仿真环境中采集，使用 cuRobo 运动规划器控制一个 AgileX Piper 6 自由度机械臂，执行将苹果采摘并放入桶中的操作。数据集规模庞大，包含 1,056 个完整 episodes（轨迹片段）和总计 1,024,754 帧图像数据，采集帧率为 30 FPS。每个 episode 包含 1 至 5 个苹果（经过数据重新平衡，分布偏向 4-5 个苹果的场景），并且每个 episode 的目标都是将所有苹果成功放入桶中。数据经过清理，移除了 99 个因采集错误（场景中存在第五个苹果但未被跟踪或采摘）而损坏的 episodes，并用新的包含 4-5 个苹果的场景替换。观测数据包括：来自两个相机的图像（`observation.images.ego` 手腕视角和 `observation.images.front` 前置视角，分辨率 640x360，AV1 编码），以及机器人状态向量（`observation.state`），具体包含关节1-6位置、夹爪开合百分比位置（0为闭合，100为张开）、夹爪闭合程度分数（1为闭合，0为张开）、末端执行器位置（x, y, z）和姿态（roll, pitch, yaw）。数据集的一个关键额外特征是 `apple_bbox`，为每个红色苹果提供归一化的边界框坐标（相对于前置相机），格式为 `[visible, x_min, y_min, x_max, y_max]`，并具有遮挡感知能力（当苹果被夹爪或树叶遮挡，或已被采摘时，`visible` 标记为 0）。此特征可用于训练目标检测模型（如 YOLO）或生成高亮/增强版本的数据集副本。该数据集适用于机器人模仿学习、视觉伺服、运动规划以及基于视觉的物体检测与操作等研究任务。The Piper Apple Picking (Isaac Sim) dataset is part of the LeRobot v3 series, focusing on robot manipulation tasks for apple picking. It is collected in the Isaac Lab / Isaac Sim simulation environment using the cuRobo motion planner to control an AgileX Piper 6-DOF robotic arm, performing operations to pick apples and place them in a bucket. The dataset is large-scale, comprising 1,056 complete episodes (trajectory segments) and a total of 1,024,754 image frames, captured at a frame rate of 30 FPS. Each episode contains 1 to 5 apples (rebalanced to favor scenarios with 4-5 apples), with the goal of successfully placing all apples into the bucket. The data has been cleaned, removing 99 damaged episodes due to collection errors (e.g., a fifth apple present but not tracked or picked) and replacing them with new scenarios containing 4-5 apples. Observations include images from two cameras (`observation.images.ego` for wrist view and `observation.images.front` for front view, resolution 640x360, AV1 encoded) and a robot state vector (`observation.state`), which includes joint positions 1-6, gripper opening percentage (0 for closed, 100 for open), gripper closure score (1 for closed, 0 for open), end-effector position (x, y, z), and orientation (roll, pitch, yaw). A key additional feature is `apple_bbox`, providing normalized bounding box coordinates for each red apple (relative to the front camera) in the format `[visible, x_min, y_min, x_max, y_max]`, with occlusion awareness (where `visible` is marked as 0 when apples are occluded by the gripper or leaves, or already picked). This feature can be used to train object detection models (e.g., YOLO) or generate highlighted/augmented dataset versions. The dataset is suitable for research tasks such as robot imitation learning, visual servoing, motion planning, and vision-based object detection and manipulation.

原始信息汇总

数据集概述

• 名称: Piper Apple Picking (Isaac Sim) — 1M frames, with apple bounding boxes
• 许可证: Apache-2.0
• 任务类别: 机器人学 (Robotics)
• 标签: LeRobot, Isaac Sim, Piper, Apple-Picking

数据集规模与结构

• 总帧数: 1,024,754 帧
• 总片段数: 1,056 个片段
• 帧率: 30 FPS
• 机器人: AgileX Piper 6-DOF 机械臂，配备 cuRobo 运动规划器，在 Isaac Lab / Isaac Sim 中采集

传感器与观测空间

• 摄像头:
  • observation.images.ego: 腕部摄像头，分辨率 640×360，AV1 编码
  • observation.images.front: 前方摄像头，分辨率 640×360，AV1 编码
• 状态向量 (observation.state): 包含 12 维数据，依次为：
  • 关节 1–6 位置
  • 夹爪位置 (gripper.pos): 百分比表示（0 闭合，100 张开）
  • 夹爪闭合分数 (gripper.tau): 1 闭合，0 张开
  • 末端执行器坐标 (x, y, z)
  • 末端执行器姿态 (roll, pitch, yaw)

额外特征：苹果边界框 (apple_bbox)

• 形状: (5, 5)，每行对应一个红苹果
• 每行内容: [visible, x_min, y_min, x_max, y_max]，坐标基于前方摄像头图像归一化
• 遮挡感知: 当苹果被夹爪/树叶遮挡或已被采摘时，visible=0，表示该框无效
• 用途: 可用于训练检测器（如 YOLO）或生成增强/高亮数据集副本

采集细节

• 每片段苹果数量: 1–5 个（经过再平衡，倾向于 4–5 个）
• 任务目标: 每个片段中所有苹果均被放入桶中
• 清理说明: 已移除 99 个损坏片段（场景中放置了第 5 个苹果但从未被追踪/采摘），替换为新的 4–5 个苹果场景，以重新平衡苹果数量分布

数据文件配置

• 配置名: default
• 数据文件: data/*/*.parquet

搜集汇总

数据集介绍

构建方式

该数据集源自Isaac Lab与Isaac Sim仿真环境，以AgileX Piper六自由度机械臂为核心，在cuRobo运动规划器的驱动下执行苹果采摘与归篮任务。数据采集采用LeRobot v3标准，共包含1,056个演示片段，帧总数突破百万级，达到1,024,754帧，帧率为30 FPS。构建过程中，每个场景布置1至5个苹果，并特别将苹果数量向4至5个高阶区间倾斜。针对原始收集阶段出现的99个异常片段——因第五个苹果未被追踪或采摘而导致的采集瑕疵——开发团队进行了清洗替换，确保每个片段中所有苹果均被成功采摘并放置于篮中。数据以Parquet格式存储，分为多个文件，由HuggingFace数据加载器统一索引。

使用方法

用户可通过LeRobot框架便捷加载该数据集，使用`from lerobot.common.datasets.lerobot_dataset import LeRobotDataset`并指定数据集名称`Faless/piper-apple-picking-1m`即可。数据集支持通过HuggingFace Spaces在线可视化，直观浏览每个片段的图像与状态序列。状态向量`observation.state`包含6个关节角度、夹爪位置（百分比开合度）、夹爪扭矩（关闭分数）以及末端执行器的位置与欧拉角，共计12维。研究者可将`observation.images.ego`（腕部相机）与`observation.images.front`（前视相机）的640×360分辨率图像作为视觉输入，配合`action`与`apple_bbox`标注，构建从感知到决策的完整机器人学习流水线。

背景与挑战

背景概述

在农业自动化领域，机器人采摘技术因其在提高生产效率、缓解劳动力短缺方面的巨大潜力而受到广泛关注。然而，现有数据集多局限于模拟环境下的简单抓取任务，缺乏针对复杂农作物场景的高质量、大规模示范数据。由Faless等人于近期创建的piper-apple-picking-1m数据集，基于AgileX Piper六自由度机械臂在Isaac Sim仿真环境中执行苹果采摘与装篮任务，共收录1,056个示范片段、逾百万帧时序数据，并通过平衡苹果数量分布（每幕4-5颗）与剔除异常片段，构建了一个具备挑战性的模仿学习基准。该数据集不仅提供了手腕与前端双视角视觉信息以及完整的关节、末端执行器状态，还创新性地引入了苹果边界框标注（包含遮挡感知标记），为机器人采摘策略的迁移学习与检测器训练提供了关键支撑，有望推动精准农业中基于学习的操控技术发展。

当前挑战

该数据集所解决的领域核心挑战在于如何实现复杂非结构化环境下的精准、鲁棒采摘操控。苹果等农作物在自然生长状态下存在叶片遮挡、果体部分可见或互相堆叠等问题，传统规划方法难以通用。本数据集通过包含遮挡感知的边界框（apple_bbox）与抓取状态信息，为学习型检测与抓取协同策略提供了训练基础。与此同时，数据构建本身也面临多重挑战：仿真环境中的物理真实性需与真实世界对齐，以确保策略的可迁移性；针对每幕1至5颗苹果的随机布局，需精确记录全程状态并剔除因场景bug导致的未追踪异常片段，共计99个坏例被移除并重新生成；此外，数据采集依赖cuRobo运动规划器生成示范，其规划质量直接影响策略可靠度，需在效率与轨迹平滑性之间取得平衡。

常用场景

经典使用场景

在机器人灵巧操作与农业自动化交汇的前沿领域，piper-apple-picking-1m数据集为模仿学习与强化学习研究提供了高度逼真的仿真数据底座。该数据集记录了AgileX Piper六自由度机械臂在NVIDIA Isaac Sim环境中执行苹果采摘与装箱任务的完整轨迹，包含超过一百万帧的高频观测数据，涵盖腕部与前方双视角的视觉输入、关节状态与末端执行器位姿。研究者可借此训练端到端的视觉运动策略，使机器人学会在复杂遮挡与多变光照条件下精准抓取并归置目标果实，为仿真到现实的迁移奠定坚实基础。

解决学术问题

长期以来，农业采摘机器人面临两大核心瓶颈：一是缺乏大规模、高标注质量的示范数据集以驱动数据驱动的策略学习；二是真实环境下采集数据的代价高昂且难以复现。该数据集通过生成超过千条高质量轨迹，并首次在机器人采摘数据中引入苹果边界框标注与遮挡感知机制，有效攻克了精细操作中目标跟踪与动态环境建模的难题。其创新性地对采摘过程中的遮挡与采摘完成状态进行显式编码，为研究者提供了研究部分可观测马尔可夫决策过程中视觉状态表征与动作推断关系的理想实验平台。

实际应用

在实际部署层面，该数据集直接服务于智慧农业中的机器人自动采摘系统开发。基于其训练的策略可引导机械臂在果园环境中准确识别成熟苹果、规划无碰撞的采摘路径，并将果实轻柔放入收集容器中，显著降低对人工采摘的依赖。此外，数据集包含的多视角图像与位姿信息可用于开发增强现实辅助的远程操控界面，或作为工厂分拣流水线中机器人抓取同类椭圆形物体的预训练数据来源，推动机器人操作技能从仿真环境向真实生产场景的高效迁移。

数据集最近研究

最新研究方向

该数据集聚焦于基于物理仿真的农业机器人灵巧操作研究，通过Isaac Sim模拟环境与cuRobo运动规划器生成的高保真苹果采摘数据，为具身智能领域提供了从仿真到现实迁移的关键训练资源。其独特之处在于不仅包含1百万帧的机器人关节状态与视觉观测数据，还创新性地提供了苹果边界框标注（apple_bbox），支持遮挡感知的目标检测任务。这一设计使得研究者能够训练YOLO等视觉模型，在复杂农场景中实现对果实的精准定位与抓取，同时通过分布重平衡（1-5个苹果场景）避免了数据偏差。该数据集与LeRobot生态深度整合，为农业自动化中的机械臂规划、多视角感知与抓取策略学习开辟了新的前沿研究方向。