so101-smolvla-data
收藏资源简介：
该数据集名为so101-smolvla-data，包含两个LeRobot v3.0格式的子集，用于训练SmolVLA模型。第一个子集std_mm_teleop_v30是真实遥操作数据，来自SO-101机器人手臂，包含100个片段、9500帧，帧率10fps，任务为“拿起蓝色方块放入橙色盒子”，使用真实摄像头图像（640x480）。第二个子集ego_v30是合成第一人称视频数据，通过重新定位生成，包含324个片段、36442帧，帧率30fps，覆盖89个任务，图像为合成数据。两个子集共享相同的6-DOF关节状态和动作空间（pan, lift, elbow, wrist_flex, wrist_roll, gripper，单位度），夹爪开合方向一致（角度大表示张开）。数据经过ISR标准化处理，其中遥操作部分采样了32.8%的帧。
This dataset is named so101-smolvla-data, containing two subsets in LeRobot v3.0 format for training the SmolVLA model. The first subset, std_mm_teleop_v30, is real teleoperation data from the SO-101 robot arm, consisting of 100 episodes, 9500 frames at 10fps, with the task pick up the blue block and place it in the orange box, using real camera images (640x480). The second subset, ego_v30, is synthetic first-person video data generated via retargeting, containing 324 episodes, 36442 frames at 30fps, covering 89 tasks, with synthetic images. Both subsets share the same 6-DOF joint state and action space (pan, lift, elbow, wrist_flex, wrist_roll, gripper, in degrees), with consistent gripper opening direction (larger angle indicates more open). The data has been normalized using ISR, with 32.8% of frames sampled from the teleoperation part.
so101-smolvla-data 数据集概述
基本信息
- 许可证: Apache 2.0
- 任务类型: 机器人（Robotics）
- 数据规模: 10K-100K 帧
- 标签: LeRobot、so101、smolvla、遥操作、第一人称视角、重定向、ISR
数据集构成
该数据集包含两个子集，均为 LeRobot v3.0 格式，可直接加载：
| 属性 | std_mm_teleop_v30 | ego_v30 |
|---|---|---|
| 文件大小 | 95 MB | 319 MB |
| 帧率 | 10 fps | 30 fps |
| 回合数 | 100 | 324 |
| 总帧数 | 9,500（原始 28,948） | 36,442 |
| 任务数 | 1（"拾取蓝色立方体放入橙色盒子"） | 89 |
| 持续时间 | 15.8 分钟 | 20.2 分钟 |
| 回合长度 | 平均 95，范围 78–117 | 平均 112.5，范围 30–354 |
| 图像来源 | 真实相机（openbooth SO-101 设备） | 合成（从 1 个第一人称相机裁剪出 2 个画面） |
| 相机键 | observation.images.front / .wrist |
相同 |
| 视频规格 | 640×480, h264, yuv420p | 640×480, h264, yuv420p |
| 状态/动作维度 | float32[6] | float32[6] |
| 状态布局 | [pan, lift, elbow, wrist_flex, wrist_roll, gripper]（度） |
相同 |
| 动作约定 | 遥操作指令，领先状态约 0.13 秒；ISR 后每步 2.08° | 精确的下一帧目标，所有 324 个回合最大绝对差为 0.0 |
| 夹爪编码 | 度制，越大越张开，范围 1.4–59.8° | 度制，越大越张开，范围 −10.0–84.3° |
| 夹爪静止位置 | 偏向闭合（均值 0.294，52.6% 帧位于底部四分之一） | 偏向中部（均值 0.328，33.5% 帧位于底部四分之一） |
协同训练注意事项
- 帧率差异：10 fps 与 30 fps。ISR 帧在实时上不均匀，以秒为单位的动作视野在 ego 子集上覆盖的步数是遥操作子集的 3 倍。
- 动作约定：ego 子集中
action[t] == state[t+1]，没有控制器动态；遥操作子集带有约 0.13 秒的真实追踪延迟。 - 夹爪范围差异：两子集夹爪开度范围不同但极性一致，建议按各自数据集的闭合到张开中点进行二值化。
- 任务与图像差异：1 个任务 vs 89 个任务，真实图像 vs 合成图像。
数据来源与处理
| 子集 | 来源 | 处理方式 |
|---|---|---|
| std_mm_teleop_v30 | makermods/2nd_100ep_blue_cube_orange_box（真实 SO-101 遥操作） | ISR 标准化 → 保留帧重写为 v3.0 数据集 |
| ego_v30 | angkul07/ego-data（EgoDex），经 DT-pipeline 第 6 阶段 F 重定向 | LeRobot v2.1 → v3.0（元数据 + ffmpeg 拼接，流复制，像素未改动） |
std_results/ 标准化运行详情
ISR（信息标准化轨迹重采样）根据信息量（移动距离 + 累积加速度）保留帧，而非按固定时间间隔。使用 ActionVariance 评分演示一致性。
结果：28,948 → 9,500 帧（保留 32.8%）。每回合保留比例 25.1–44.1%。分桶结果：50 训练 / 40 审查 / 10 隔离。
注意事项：
- ActionVariance 从原始 89.8 升至 ISR 后 94.3（100 回合中 76 个上升）——因删除暂停帧移除了最低方差的样本。
- 分桶对 ε 敏感，ε=0.5 时排名相关降至 0.51，隔离的 10 个回合应视为待检查列表而非最终判定。
使用方式
bash huggingface-cli download angkul07/so101-smolvla-data --repo-type dataset --local-dir . tar -xf std_mm_teleop_v30.tar && tar -xf ego_v30.tar
python from lerobot.datasets.lerobot_dataset import LeRobotDataset ds = LeRobotDataset("angkul07/so101-smolvla-data", root="std_mm_teleop_v30")
