smolvla-so101-pick-orange

SO101拾取橙子远程操作数据集包含了SO101机器人手臂在NVIDIA Isaac Sim 5.1.0环境中进行拾取三个橙子并放置在盘子上的远程操作演示。数据集采用LeRobot v3.0格式，包含52个成功的演示集，总计34,275帧，持续时间约19分钟。数据集的特征包括动作（6维关节位置）、观察状态（当前关节位置）以及来自固定头顶摄像头和手腕安装摄像头的视频。数据集还应用了每集重置时的领域随机化，包括橙子和盘子的位置随机化以及摄像头的位置和方向随机化。该数据集主要用于微调视觉-语言-动作模型（如SmolVLA），以实现SO101拾取和放置任务的模拟到现实转移。

原始信息汇总

数据集概述：SO101 Pick Orange — Teleoperation Dataset

基本信息

• 数据集名称：SO101 Pick Orange — Teleoperation Dataset
• 许可证：Apache-2.0
• 任务类别：机器人学（Robotics）
• 标签：LeRobot、SO101、操作（Manipulation）、遥操作（Teleoperation）、Isaac Sim、抓取与放置（Pick-and-Place）
• 发布者：Benjamin Kubwimana（@benyamini），隶属于 Edge Inference 项目

数据集详情

属性	值
机器人	SO101（6自由度，Feetech STS3215舵机）
任务	抓取3个橙子 → 放置到盘子中 → 返回初始位置
环境	NVIDIA Isaac Sim 5.1.0（厨房场景）
遥操作设备	SO101主导臂（通过ZMQ通信，50Hz）
数据格式	LeRobot v3.0
帧率（FPS）	30
片段数（Episodes）	100
总帧数	60,541

特征（Features）

特征名称	形状	类型与描述
action	(6,)	float32 — 关节位置 [shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper]
observation.state	(6,)	float32 — 当前关节位置（与action顺序相同）
observation.images.front	(480, 640, 3)	视频（AV1编码，MP4格式）— 固定俯视相机
observation.images.wrist	(480, 640, 3)	视频（AV1编码，MP4格式）— 腕部相机

领域随机化（Domain Randomization）

每次重置时对每个片段应用以下随机化：

• 橙子位置：XY方向 ±3 cm
• 盘子位置：XY方向 ±6 cm
• 前方相机：位置 ±2.5 cm，朝向 ±2.5°

数据采集方法

通过仿真中的SO101主从遥操作进行演示采集。仅包含成功片段（即3个橙子全部成功放置到盘子上），失败片段在记录过程中被丢弃。

预期用途

用于微调视觉-语言-动作模型（如 SmolVLA），实现SO101机器人抓取与放置任务的从仿真到真实世界（Sim-to-Real）迁移。

引用

如果您在研究中使用了该数据集，请引用：

bibtex @misc{kubwimana2026so101pickorange, title={SO101 Pick Orange Teleoperation Dataset}, author={Kubwimana, Benjamin}, year={2026}, publisher={Hugging Face}, url={https://huggingface.co/datasets/edge-inference/smolvla-so101-pick-orange} }

致谢

该数据集使用 leisaac（基于 NVIDIA Isaac Sim）和 LeRobot 框架创建。