lerobot_rgb_vla
收藏资源简介：
一个大型真实机器人操作数据集，采用LeRobot v3.0格式，包含2318个episodes、249万帧、约23小时，使用SO-follower臂（SO-100/SO-101系列，6自由度）通过两个同步RGB摄像头（全局1280×720、手腕640×480）远程操作录制。提供RGB视频、关节状态（6维）和动作（6维）数据，无深度信息。每个episode长度848-1495帧（平均约1073帧），总数据大小51.1 GB。
A large real robot operation dataset in LeRobot v3.0 format, containing 2318 episodes, 2.49 million frames, approximately 23 hours, recorded via teleoperation using a SO-follower arm (SO-100/SO-101 series, 6 degrees of freedom) with two synchronized RGB cameras (global 1280×720, wrist 640×480). Provides RGB video, joint states (6-dimensional), and actions (6-dimensional) data, without depth information. Each episode length ranges from 848 to 1495 frames (average ~1073 frames), total data size 51.1 GB.
数据集概览
LeRobot RGB VLA Dataset 是一个大规模真实机器人操作数据集，采用 LeRobot v3.0 格式。数据集包含 2,318 个演示片段、249 万帧画面以及约 23 小时的遥操作 SO 系列机械臂演示，由两路同步 RGB 摄像头录制。
核心信息
| 属性 | 详情 |
|---|---|
| 数据集名称 | LeRobot RGB VLA Dataset |
| 数据集标识 | dadm022/lerobot_rgb_vla |
| 许可证 | MIT |
| 任务类型 | 机器人操作（Robotics） |
| 数据规模 | 2,318 个片段，2,487,292 帧 |
| 录制时长 | 约 23.0 小时 @ 30 fps |
| 单片段长度 | 848–1,495 帧（约 28–50 秒），均值约 1,073 帧 |
| 任务数量 | 62 个录制会话 |
| 机器人型号 | so_follower（SO-100 / SO-101 系列），6 自由度 |
| 摄像头配置 | 前视 1280×720、腕部 640×480，均为 AV1 编码，30 fps |
| 数据格式 | LeRobot codebase_version v3.0 |
| 数据大小 | 51.1 GB |
| 数据模态 | RGB 视频 + 关节状态 + 动作指令（不含深度数据） |
数据特性
特征字段
| 字段 | 类型 | 维度 | 说明 |
|---|---|---|---|
observation.images.front |
视频 | 720×1280×3 | 全局工作区视角，AV1 编码 |
observation.images.wrist |
视频 | 480×640×3 | 夹爪安装视角，AV1 编码 |
observation.state |
float32 | 6 | 关节位置 |
action |
float32 | 6 | 指令关节位置 |
timestamp 等 |
— | — | LeRobot 元数据辅助列 |
关节顺序
关节位置与动作指令共用相同的关节顺序：
shoulder_pan.pos → shoulder_lift.pos → elbow_flex.pos → wrist_flex.pos → wrist_roll.pos → gripper.pos
任务标识
任务字符串为录制会话标识（如 i4_2-40-90），并非自然语言指令。task_index 可作为会话/条件标签使用；如需语言条件化，可在这些分组基础上进行标注。
数据目录结构
data/chunk-{chunk:03d}/file-{file:03d}.parquet # 每个片段一个文件，仅含数值列 videos/observation.images.front/chunk-000/file-.mp4 videos/observation.images.wrist/chunk-000/file-.mp4 meta/info.json # 模式、帧率、路径模板 meta/episodes/chunk-000/file-000.parquet # 各片段长度、偏移、视频时间戳 meta/tasks.parquet meta/stats.json # 归一化统计
视频文件在片段间共享，每个片段的视频段通过片段元数据中的 videos/<key>/from_timestamp 和 to_timestamp 定位，而非按文件边界划分。
使用方式
需要 lerobot >= 0.4（已在 0.6.x 版本使用的 v3.0 数据集格式上测试通过）。
本地加载： python from lerobot.datasets import LeRobotDataset
dataset = LeRobotDataset("dadm022/lerobot_rgb_vla") sample = dataset[0] print(sample["observation.images.front"].shape) # [C, H, W] print(sample["observation.state"], sample["action"])
流式加载（无需下载全部 51 GB）： python from lerobot.datasets import StreamingLeRobotDataset
dataset = StreamingLeRobotDataset("dadm022/lerobot_rgb_vla")
数据来源
该数据集由 Loop Engineering for VLAnything 工具录制、合并和审计，这是一个开源的 LeRobot 工具包，用于 VLA 数据集的采集、合并、审计、增强和迭代改进。项目页面：https://dataset-toolkit-vlanything.derek-xia.chatgpt.site/
本数据集为 RGB-D 采集的 RGB 仅导出版本。在合并过程中重建了片段、帧、任务和视频索引，所有索引均为密集且连续的，每个片段的视频段长度与其动作序列完全匹配。
