leisaac-pick-orange

LeIsaac Pick Orange数据集是一个用于学习拾取和放置橙子的机器人操作数据集，收集于Isaac Lab模拟环境。数据集包含60个完整的情节，使用两个摄像头（前部和腕部）以30帧每秒的速率记录。使用的机器人是Franka Emika Panda。任务包括五个子任务：接近橙子、抓取橙子、移动到盘子、放置橙子和撤退。数据集还包含了阶段感知奖励建模（SARM）的稀疏注释，标注了每个子任务的时间边界。数据集的结构包括元数据、数据和视频文件，分别存储在不同的目录中。

原始信息汇总

LeIsaac Pick Orange 数据集概述

数据集基本信息

• 数据集名称：LeIsaac Pick Orange
• 许可证：Apache 2.0
• 任务类别：机器人技术
• 标签：LeRobot, manipulation, isaac-lab, smolvla, sarm
• 数据规模：n<1K

数据集描述

• 总情节数：60
• 相机数量：2（前视相机、腕部相机）
• 帧率：30 FPS
• 机器人型号：Franka Emika Panda
• 核心任务：从桌子上拾取橙子并放置到盘子上

任务描述

机器人执行以下子任务序列：

1. 接近橙子 - 将夹爪移向橙子
2. 抓取橙子 - 闭合夹爪以抓取橙子
3. 移至盘子 - 将橙子运送到盘子处
4. 放置橙子 - 打开夹爪将橙子释放到盘子上
5. 撤离 - 从放置位置移开

SARM 标注

该数据集包含所有60个情节的**阶段感知奖励建模（SARM）**稀疏标注。每个情节的每个子任务都有时间边界标注。

平均时间比例

子任务	比例
接近橙子	17.4%
抓取橙子	11.3%
移至盘子	17.9%
放置橙子	20.9%
撤离	32.5%

标注文件

• meta/sarm_annotations_sparse.json - JSON格式的标注
• meta/temporal_proportions_sparse.json - 平均时间比例
• 情节级别的标注存储在parquet文件中，包含以下列：
  • sparse_subtask_names
  • sparse_subtask_start_times
  • sparse_subtask_end_times
  • sparse_subtask_start_frames
  • sparse_subtask_end_frames

数据集结构

leisaac-pick-orange/ ├── meta/ │ ├── info.json │ ├── stats.json │ ├── tasks.parquet │ ├── episodes/ │ │ └── chunk-000/ │ │ └── file-.parquet │ ├── sarm_annotations_sparse.json │ └── temporal_proportions_sparse.json ├── data/ │ └── chunk-000/ │ └── file-.parquet └── videos/ ├── observation.images.front/ │ └── chunk-000/ │ └── file-.mp4 └── observation.images.wrist/ └── chunk-000/ └── file-.mp4

使用方式

python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset

加载数据集

dataset = LeRobotDataset("SunyGala/leisaac-pick-orange")

访问情节

for i in range(len(dataset)): episode = dataset[i] # episode包含观测图像、机器人状态和动作

引用

如果使用此数据集，请引用相关成果： bibtex @software{lerobot2024, title = {LeRobot: Making AI for Robotics more accessible}, author = {LeRobot team}, url = {https://github.com/huggingface/lerobot} }

致谢

• 数据集使用 Isaac Lab 生成
• 标注使用 SiliconFlow API 与 Qwen3-VL 模型生成