leisaac-real-pick-orange
收藏资源简介：
这是一个真机SO-101主从臂遥操采集的抓橙子放盘子数据集，包含30集人类演示，采用LeRobot v3.0格式。数据集记录了真实世界SO-101领导者-跟随者遥操作任务：拾取一个橙子并将其放在盘子上。具体信息包括：机器人使用SO-101跟随者（6自由度+夹爪，通过领导者臂遥操），任务为拾取橙子并放在盘子上，总帧数为25,091（30 fps，总计约14分钟），单集长度在442到2,195帧之间（中位数753帧，约25秒）。相机配置包括前视和腕部相机，分辨率均为640×480 @30fps，使用AV1编码（yuv420p）。状态与动作数据包括6维关节位置（肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪）。数据采集通过主从臂遥操（领导者5V/跟随者12V）完成，人类演示以自然速度执行抓取-放置全流程。数据集可用于训练视觉语言动作（VLA）模型，如ACT、FlowDP和GR00T-N1.7等策略，并在真机上测试闭环性能。
This dataset captures a real-world SO-101 master-slave arm teleoperation for picking and placing oranges on a plate, containing 30 episodes of human demonstrations in LeRobot v3.0 format. It records a leader-follower teleoperation task using the SO-101 system: picking up an orange and placing it on a plate. Specific details include: the robot uses the SO-101 follower (6 degrees of freedom plus a gripper, teleoperated via the leader arm), with the task pick the orange and place it on the plate. The total frame count is 25,091 (30 fps, approximately 14 minutes in total), with individual episode lengths ranging from 442 to 2,195 frames (median 753 frames, about 25 seconds). Camera configuration includes front view and wrist cameras, both at 640×480 resolution @30fps, encoded with AV1 (yuv420p). State and action data comprise 6-dimensional joint positions (shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation, and gripper). Data collection was performed via master-slave arm teleoperation (leader 5V/follower 12V), with human demonstrations executed at natural speeds throughout the pick-and-place process. The dataset can be used to train vision-language-action (VLA) models, such as ACT, FlowDP, and GR00T-N1.7 strategies, and to test closed-loop performance on real hardware.
数据集详情：SO-101 Real-Arm Pick Orange
基本信息
- 数据集名称：SO-101 Real-Arm Pick Orange — 30 Episodes (LeRobot v3.0)
- 许可证：Apache-2.0
- 任务类别：机器人学（robotics）
- 标签：LeRobot, so101, real-robot, manipulation, pick-and-place, teleoperation
任务描述
真机 SO-101 主从臂遥操采集的抓橙子放盘子数据集，共 30 集人类演示，任务为“拿起橙子并放在盘子上”。
数据集规格
| 项目 | 数值 |
|---|---|
| 机器人 | SO-101 follower（6 自由度 + 夹爪，leader 臂遥操） |
| 任务 | Pick up the orange and place it on the plate |
| 集数 | 30 |
| 总帧数 | 25,091（30 fps，合计约 14 分钟） |
| 单集长度 | 442–2,195 帧（中位数 753 帧，约 25 秒） |
| 相机 | front + wrist，各 640×480 @30fps，AV1（yuv420p）编码 |
| 状态与动作 | 6 维关节位置（shoulder_pan / shoulder_lift / elbow_flex / wrist_flex / wrist_roll / gripper） |
| 格式 | LeRobot codebase_version: v3.0 |
采集方式
- 采用主从臂遥操（leader 5V / follower 12V），人类演示以自然速度完成抓取-放置全流程。
- 录制脚手架包括后台录制、哨兵停止、废集丢弃等功能，相关脚本位于 GitHub 仓库
LeIsaac/scripts/so101/。
使用方法
使用 LeRobot 库加载数据集：
python from lerobot.datasets.lerobot_dataset import LeRobotDataset
ds = LeRobotDataset("wsagi/leisaac-real-pick-orange") print(ds.meta.total_episodes, ds.meta.total_frames) # 30, 25091
注意：视频为 AV1 编码，decord 无法读取，需使用 pyav 或 torchvision_av 后端（pyav 建议设置 thread_count=1 防止解码线程泄漏）。
训练结果
使用同一 30 集数据训练三种 VLA 策略头，在真机上进行闭环对比测试（每轮 3 只橙子，记录放入盘中的数量）：
| 策略 | 真机表现 |
|---|---|
| ACT sim-warm-start | 1.5 只/轮（10 轮：2,1,1,3,2,1,0,1,2,2），真机最佳，约 2 倍于从零训练 |
| ACT 从零训练 | 0.8 只/轮（5 轮：2,0,1,1,0），放入 1–2 只概率约 50% |
| FlowDP（conv-UNet × rectified flow） | 能抓取，放置不稳定 |
| GR00T-N1.7（冻结 VLM 微调 head） | 能抓取，未完成放置 |
