leisaac-pick-orange

LeIsaac Pick Orange数据集是一个用于学习拾取和放置橙子的机器人操作数据集，收集于Isaac Lab模拟环境。数据集包含60个完整的情节，使用两个摄像头（前部和腕部）以30帧每秒的速率记录。使用的机器人是Franka Emika Panda。任务包括五个子任务：接近橙子、抓取橙子、移动到盘子、放置橙子和撤退。数据集还包含了阶段感知奖励建模（SARM）的稀疏注释，标注了每个子任务的时间边界。数据集的结构包括元数据、数据和视频文件，分别存储在不同的目录中。

The LeIsaac Pick Orange dataset is a robotic manipulation dataset designed for learning orange picking and placing tasks, collected within the Isaac Lab simulation environment. It contains 60 complete episodes, recorded at 30 frames per second using two cameras: a front-facing camera and a wrist-mounted camera. The robotic platform employed is the Franka Emika Panda. The task encompasses five subtasks: approaching the orange, grasping the orange, moving to the plate, placing the orange, and retreating. The dataset also provides sparse annotations for Stage-Aware Reward Modeling (SARM), which label the temporal boundaries of each subtask. Structurally, the dataset includes metadata, data, and video files, each stored in separate dedicated directories.

原始信息汇总

LeIsaac Pick Orange 数据集概述

数据集基本信息

• 数据集名称：LeIsaac Pick Orange
• 许可证：Apache 2.0
• 任务类别：机器人技术
• 标签：LeRobot, manipulation, isaac-lab, smolvla, sarm
• 数据规模：n<1K

数据集描述

• 总情节数：60
• 相机数量：2（前视相机、腕部相机）
• 帧率：30 FPS
• 机器人型号：Franka Emika Panda
• 核心任务：从桌子上拾取橙子并放置到盘子上

任务描述

机器人执行以下子任务序列：

1. 接近橙子 - 将夹爪移向橙子
2. 抓取橙子 - 闭合夹爪以抓取橙子
3. 移至盘子 - 将橙子运送到盘子处
4. 放置橙子 - 打开夹爪将橙子释放到盘子上
5. 撤离 - 从放置位置移开

SARM 标注

该数据集包含所有60个情节的**阶段感知奖励建模（SARM）**稀疏标注。每个情节的每个子任务都有时间边界标注。

平均时间比例

子任务	比例
接近橙子	17.4%
抓取橙子	11.3%
移至盘子	17.9%
放置橙子	20.9%
撤离	32.5%

标注文件

• meta/sarm_annotations_sparse.json - JSON格式的标注
• meta/temporal_proportions_sparse.json - 平均时间比例
• 情节级别的标注存储在parquet文件中，包含以下列：
  • sparse_subtask_names
  • sparse_subtask_start_times
  • sparse_subtask_end_times
  • sparse_subtask_start_frames
  • sparse_subtask_end_frames

数据集结构

leisaac-pick-orange/ ├── meta/ │ ├── info.json │ ├── stats.json │ ├── tasks.parquet │ ├── episodes/ │ │ └── chunk-000/ │ │ └── file-.parquet │ ├── sarm_annotations_sparse.json │ └── temporal_proportions_sparse.json ├── data/ │ └── chunk-000/ │ └── file-.parquet └── videos/ ├── observation.images.front/ │ └── chunk-000/ │ └── file-.mp4 └── observation.images.wrist/ └── chunk-000/ └── file-.mp4

使用方式

python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset

加载数据集

dataset = LeRobotDataset("SunyGala/leisaac-pick-orange")

访问情节

for i in range(len(dataset)): episode = dataset[i] # episode包含观测图像、机器人状态和动作

引用

如果使用此数据集，请引用相关成果： bibtex @software{lerobot2024, title = {LeRobot: Making AI for Robotics more accessible}, author = {LeRobot team}, url = {https://github.com/huggingface/lerobot} }

致谢

• 数据集使用 Isaac Lab 生成
• 标注使用 SiliconFlow API 与 Qwen3-VL 模型生成