Robochallengev2_lerobotv3

# RoboChallenge v2（lerobot v3） ## 简介 RoboChallenge v2 是一套面向**机器人操作（manipulation）**的大规模示范（demonstration）数据集，覆盖 **4 类机器人平台、共 30 个日常操作任务**，全部采用 **LeRobot v3** 数据格式存储（parquet 轨迹帧 + 多路摄像头视频 + 标准 `meta/info.json`）。适用于模仿学习（imitation learning）、视觉-运动策略（visuomotor policy）、机器人基础模型等方向的训练与研究。 ## 数据集规模 | 机器人平台 | 任务数 | 文件数 | 大小（约） | |---|---:|---:|---:| | Aloha（双臂） | 10 | 1554 | 252 GB | | ARX5 | 7 | 983 | 157 GB | | DoS-W1 | 10 | 1219 | 189 GB | | UR5 | 3 | 591 | 99 GB | | **合计（真实任务）** | **30** | **4347** | **~697 GB** | > 另有 `Robochallenge_aloha_v3/zipped/` 为**原始采集数据的分卷压缩包**（`rc_aloha.z01`～`rc_aloha.z04` + `rc_aloha.zip`，约 95 GB），该目录**不是 LeRobot 任务目录**，未计入上表。整仓（含该压缩包）总大小约 **791 GB**。 > > 整体数据量较大，下载时请预留充足磁盘空间；建议按需按平台或按任务下载（见下文“下载”）。 ## 目录结构 ``` Robochallengev2_lerobotv3/ ├── Robochallenge_aloha_v3/ # Aloha 双臂平台（10 个任务 + zipped 原始压缩包） │ ├── <task_1>/ │ ├── <task_2>/ │ └── ... ├── Robochallenge_arx5_v3/ # ARX5 平台（7 个任务） ├── Robochallenge_dos_w1_v3/ # DoS-W1 平台（10 个任务） └── Robochallenge_ur5_v3/ # UR5 平台（3 个任务） ``` 每个 `<task>` 目录本身是一个标准的 **LeRobot v3 数据集**，内部结构如下： ``` <task>/ ├── data/ │ └── chunk-000/ │ └── file-000.parquet # 轨迹帧数据（state / action / 图像索引等） ├── meta/ │ ├── info.json # 数据集元信息（episode 数、帧数、fps、特征定义等） │ ├── episodes/ │ │ └── chunk-000/file-000.parquet │ ├── tasks.parquet # 任务定义 │ ├── stats.json # 统计量 │ ├── sidecar.json # 子任务（subtask）标注文件 │ └── skip_log.json ├── videos/ │ ├── observation.images.head/*.mp4 # 摄像头视角 1 │ ├── observation.images.left/*.mp4 # 摄像头视角 2 │ └── observation.images.right/*.mp4 # 摄像头视角 3 └── _CONVERT_SUCCESS.json # 格式转换完成标记 ``` ## 任务清单 ### Aloha（10 个任务） `lint_roller_remove_dirt`、`pack_the_items`、`pack_the_toothbrush_holder`、`paint_jam`、`put_the_books_back`、`put_the_pencil_case_into_the_schoolbag`、`scoop_with_a_small_spoon`、`stamp_positioning`、`wipe_the_blackboard`、`wrap_with_a_soft_cloth` > 注：`Robochallenge_aloha_v3/zipped/` 是原始采集数据的分卷压缩包，**不属于上述任务清单**。 ### ARX5（7 个任务） `arrange_flowers`、`hang_the_cup`、`pick_out_the_green_blocks`、`press_the_button`、`turn_on_the_light_switch`、`water_the_flowers`、`wipe_the_table` ### DoS-W1（10 个任务） `fold_the_clothes`、`hold_the_tray_with_both_hands`、`place_objects_into_desk_drawer`、`put_in_pen_container`、`put_the_shoes_back`、`stack_bowls`、`sweep_the_trash`、`tidy_up_the_makeup_table`、`tie_a_knot`、`untie_the_shoelaces` ### UR5（3 个任务） `arrange_fruits`、`item_classification`、`shred_paper` ## 子任务标注（sidecar.json） 每个任务的 `meta/sidecar.json` 为该任务的**子任务（subtask）级标注文件**，用于描述任务分解、子目标或关键阶段等细粒度信息，配合轨迹数据可用于层级化模仿学习或任务级评测。 - 标注文件随各任务一同发布，覆盖全部 **30 个真实任务**（每个任务目录的 `meta/sidecar.json` 均已包含实际标注内容）。 - 加载时可直接读取 JSON 使用，例如： ```python import json, os task_dir = "./RoboChallenge/Robochallenge_aloha_v3/pack_the_items" with open(os.path.join(task_dir, "meta", "sidecar.json"), encoding="utf-8") as f: subtask_annotations = json.load(f) print(list(subtask_annotations.keys())[:10]) # 查看标注结构 ``` ## 数据格式（LeRobot v3） 以 `Robochallenge_aloha_v3/pack_the_items` 为例（Aloha 双臂，单任务）： - **episodes**: 1045 - **frames**: 2,494,155 - **fps**: 30 - **robot_type**: `aloha` - **codebase_version**: `v3.0` - **state / action 维度**: 14（双臂 2×7 DOF） - **摄像头**: `head` / `left` / `right` 三路，分辨率 448×448，编码 AV1 - **划分（splits）**: `train` (0:1045) ### 特征定义（features） | 字段 | 类型 | 形状 | |---|---|---| | `observation.state` | float32 | [14] | | `observation.state.endpose` | float32 | [14] | | `action` | float32 | [14] | | `action.endpose` | float32 | [14] | | `observation.images.head` | video | [3, 448, 448] | | `observation.images.left` | video | [3, 448, 448] | | `observation.images.right` | video | [3, 448, 448] | | `timestamp` | float32 | [1] | | `frame_index` | int64 | [1] | | `episode_index` | int64 | [1] | | `index` | int64 | [1] | | `task_index` | int64 | [1] | > 不同机器人平台 / 任务的 `robot_type`、自由度与摄像头配置可能不同，请以各任务目录内 `meta/info.json` 的 `features` 字段为准。 ## 下载 ### ModelScope CLI ```bash # 下载整个数据集（约 791 GB，请预留空间） modelscope download --dataset karasuaki/Robochallengev2_lerobotv3 --local_dir ./RoboChallenge # 只下载某个机器人平台 modelscope download --dataset karasuaki/Robochallengev2_lerobotv3 \ --include 'Robochallenge_aloha_v3/**' --local_dir ./RoboChallenge # 只下载某个任务（含其 meta/sidecar.json 子任务标注） modelscope download --dataset karasuaki/Robochallengev2_lerobotv3 \ --include 'Robochallenge_aloha_v3/pack_the_items/**' --local_dir ./RoboChallenge ``` ### Python SDK ```python from modelscope import dataset_snapshot_download # 下载整个数据集到本地 path = dataset_snapshot_download("karasuaki/Robochallengev2_lerobotv3", local_dir="./RoboChallenge") print(path) ``` ### Git ```bash git clone https://www.modelscope.cn/datasets/karasuaki/Robochallengev2_lerobotv3.git ``` ## 加载与使用示例（LeRobot） ```python from lerobot.datasets.lerobot_dataset import LeRobotDataset # 加载单个任务（指向本地已下载的任务目录） ds = LeRobotDataset("./RoboChallenge/Robochallenge_aloha_v3/pack_the_items") print("episodes:", ds.meta.total_episodes) print("frames:", ds.meta.total_frames) sample = ds[0] # 取第一帧 print(sample["observation.images.head"].shape) # (3, 448, 448) print(sample["action"].shape) # (14,) ``` > 提示：建议先用 `--include` 下载单个任务验证流程，再按需扩展；直接加载全集（791 GB）对磁盘与内存要求较高。 ## 许可证 本数据集以 **Apache-2.0** 许可证发布。 ## 引用 （待补充：若本数据集用于论文或产品，请在此处补充相应的引用 / 致谢信息。）