Faless/harvest_apples_with_agilex_piper_sim_ee

该数据集是一个机器人学领域的数据集，专注于使用AgileX Piper模拟器进行苹果采摘任务，特别强调末端执行器的位姿信息。数据集由LeRobot v3从源数据集Faless/harvest_apples_with_agilex_piper_sim转换而来。它包含600个episodes和1,020,000帧，帧率为25 FPS。摄像头视角包括observation.images.ego和observation.images.front。动作变量由末端执行器的位置（x, y, z）、欧拉角方向（roll, pitch, yaw）以及夹爪位置组成；状态变量则额外包括夹爪扭矩。末端执行器位置以米为单位，方向以弧度表示。视频数据保持原样，而动作和状态数据及相关表格统计信息以末端执行器位姿空间表示。This dataset is a robotics dataset focused on harvesting apples using the AgileX Piper simulator, with an emphasis on end-effector pose information. It is converted from the source dataset Faless/harvest_apples_with_agilex_piper_sim as part of LeRobot v3. The dataset includes 600 episodes, 1,020,000 frames at 25 FPS. Cameras used are observation.images.ego and observation.images.front. The action variable consists of end-effector position (x, y, z), Euler RPY orientation (roll, pitch, yaw), and gripper position; the state variable adds gripper torque. End-effector position is in meters and orientation in radians. Videos are unchanged from the source, while action/state and associated tabular statistics are represented in end-effector pose space.

搜集汇总

数据集介绍

构建方式

在机器人操作领域，精准的末端执行器姿态估计是实现复杂任务的关键。该数据集源自Faless团队在Isaac Sim仿真环境中采集的原始数据，经过LeRobot v3标准格式转换而来，专注于苹果采摘任务。数据集包含600个示教轨迹，共计1,020,000帧图像，以25帧每秒的频率记录了双臂协作机器人的操作过程。构建过程中，原始的动作与状态信息被统一映射至末端执行器位姿空间，位置以米为单位，姿态以欧拉角（滚转、俯仰、偏航）的弧度值呈现，并补充了夹爪位置与力矩信息，形成完整的7维动作向量与8维状态向量。

特点

该数据集最显著的特征在于其对末端执行器姿态的精细化表征。不同于传统数据集仅记录关节角度或笛卡尔坐标，本数据集直接提供夹具在采摘空间中的完整六自由度位姿以及夹爪开合状态，极大简化了策略学习中的运动学解算环节。数据采集自NVIDIA Isaac Sim高保真仿真环境，确保了视觉与物理交互的真实性。此外，双视角摄像头配置（包含本体与前端视角）为多模态感知与视觉运动策略的研发提供了丰富信息。

使用方法

使用者可借助LeRobot工具链直接加载与处理该数据集。推荐通过Hugging Face提供的可视化界面预览数据样本，快速理解任务特性。在模型训练中，可将7维动作向量作为策略网络输出，8维状态向量结合双视角图像作为观测输入，适用于模仿学习与强化学习框架。由于数据已标准化为末端执行器空间表示，研究者无需额外进行坐标变换，可直接将动作映射至机器人的逆运动学求解器或真实执行器指令。

背景与挑战

背景概述

harvest_apples_with_agilex_piper_sim_ee数据集由Faless研究团队于近期创建，源自基于NVIDIA Isaac Sim仿真环境的苹果采摘机器人任务。该数据集聚焦于机器人末端执行器（end-effector）在仿真场景中的位姿控制，旨在研究如何通过视觉与状态信息引导机械臂精准抓取目标物体。作为LeRobot v3格式的转换版本，它提供了600个示范片段、超过100万帧的高频（25 FPS）数据，涵盖双视角图像与末端执行器的7维动作空间（位置、姿态与夹爪开合）。该数据集为机器人模仿学习与强化学习领域提供了标准化基准，推动了仿真到现实（Sim-to-Real）迁移研究的发展。

当前挑战

该数据集面临的核心挑战包括：首先，领域层面，机器人精细操作任务中末端执行器位姿控制的精度与鲁棒性仍是难题，尤其是面对不同生长姿态的苹果时，夹持力与抓取成功率的平衡难以保证。其次，构建过程中，仿真环境与真实世界间的动力学差异（如物理引擎参数标定）导致数据与真实场景分布偏移，影响策略迁移效果。此外，高帧率图像与动作序列的同步采集对仿真渲染与计算资源提出严苛要求，而夹爪力矩（gripper.tau）的观测噪声进一步增加了状态估计的不确定性。这些挑战制约了数据集在泛化性与实际部署中的应用潜力。

常用场景

经典使用场景

在机器人操作与灵巧抓取的研究领域中，harvest_apples_with_agilex_piper_sim_ee数据集为模仿学习与强化学习算法提供了丰富的训练素材。该数据集记录了AgileX Piper机械臂在仿真环境中采摘苹果的完整轨迹，包含了末端执行器的六维位姿与夹爪状态，可广泛用于训练机器人从视觉观测到动作输出的端到端映射模型，尤其适用于物体抓取与操作任务的策略学习。

衍生相关工作

基于该数据集，研究者衍生出多项代表性工作。例如，利用扩散策略（Diffusion Policy）进行多模态轨迹生成，提升抓取动作的平滑度；或结合视觉语言模型实现自然语言指令下的采摘任务。同时，该数据集常用于测试具身智能领域中行为克隆与离线强化学习算法的性能，并启发了一系列关于仿真数据增强与域适应的研究，成为农业机器人仿真验证的重要基准之一。

数据集最近研究

最新研究方向

该数据集聚焦于农业机器人领域的末端执行器（end-effector）精准操控研究，尤其是苹果采摘任务中的运动规划与状态表征。当前前沿方向集中于结合Isaac Sim等物理仿真环境，通过大规模模仿学习（如LeRobot框架）实现机器人从视觉观测到末端位姿（包括位置、欧拉角及夹爪开合）的高频映射。相关热点事件包括具身智能在农业自动化中的深度应用，以及仿真到现实（Sim-to-Real）迁移能力的突破。该数据集提供了600个高质量演示片段、超过百万帧的25FPS时序数据，并标准化了末端执行器在笛卡尔空间中的动作与状态表示，为开发通用型农业机器人控制策略奠定了重要数据基础，显著推动了精准农业与机器人灵巧操作的交叉发展。