challenge_data
收藏资源简介：
PrimeBot 家庭双手操作挑战数据集（PrimeBot Household Bimanual Manipulation Challenge Dataset）是一个面向家庭场景双臂机器人操作任务的数据集，由启元机器人（PrimeBot）提供遥操作数据，并包含来自 crobotia 的 UMI 数据。所有数据均采用标准的 LeRobot V2.1 格式组织。训练集覆盖超过 12 种真实的家庭场景双臂操作任务，所有数据均包含精确到帧的语言标注。部分任务包括：用夹爪完全打开洗衣机门、用夹爪关紧洗衣机门、将两件衣服放入洗衣机、从洗衣机取出衣服放入篮子、用双夹爪拿起洗衣篮、将脏衣篮放在地上、拿起衣服放在沙发上、将衣服放入折叠区、展开衣服并整齐折叠、将折叠好的衣服放入储物区。训练集由四个独立、无重叠的子集组成：full_task_batch1_train（任务 1-10，帧级指令）、fold_cloth_batch2_train（任务 8-10，帧级指令）、partial_task_batch3_train（任务 1,4,5，帧级指令）、partial_task_batch4_train（任务 1,2,3,9，片段级指令）。测试集采用与训练集完全相同的格式，但 observation.state 数据包含随机噪声，所有 action 字段设置为零。评估将聚焦于不超过 4 个任务：打开洗衣机门、关紧洗衣机门、将两件衣服放入洗衣机、展开衣服并折叠整齐。数据集字段包括：图像（三视图 RGB 图像，分辨率 1280×720，30 FPS，包括头部相机、左腕相机和右腕相机）、语言指令（完整的标注信息存储在 `${dataset_name}/meta/info.json` 中，采用左闭右开区间 [start_frame_index, end_frame_index) 表示）、本体感知信息（observation.state 和 action 均为 89 维，包含关节位置、关节速度、关节力矩、末端执行器位姿和轮关节状态）、推理接口（仅使用机器人关节位置作为控制命令，共 24 维）。UMI 数据部分包含 5 个双机械臂操作片段，共 5940 帧，涉及 4 个唯一任务（折叠不同颜色的衬衫），所有片段以 30 FPS 录制，ego 视频分辨率为 960×960。数据集字段包括左右腕 ego 相机图像、16 维本体感知和动作、帧索引、时间戳、任务索引等元数据，以及片段级和动作步级注释以及 IMU 数据。
PrimeBot Household Bimanual Manipulation Challenge Dataset is a dataset designed for bimanual robot manipulation tasks in household scenarios. It is provided by PrimeBot with teleoperation data and includes UMI data from crobotia. All data is organized in the standard LeRobot V2.1 format. The training set covers over 12 real-world household bimanual manipulation tasks, with frame-level language annotations. Tasks include: fully opening a washing machine door with grippers, closing the washing machine door, placing two clothes into the washing machine, taking clothes out of the washing machine and putting them into a basket, picking up a laundry basket with dual grippers, placing the laundry basket on the floor, picking up clothes and placing them on the sofa, putting clothes into a folding area, unfolding and neatly folding clothes, and placing folded clothes into a storage area. The training set consists of four independent, non-overlapping subsets: full_task_batch1_train (tasks 1-10, frame-level instructions), fold_cloth_batch2_train (tasks 8-10, frame-level instructions), partial_task_batch3_train (tasks 1,4,5, frame-level instructions), and partial_task_batch4_train (tasks 1,2,3,9, segment-level instructions). The test set uses the same format as the training set, but observation.state contains random noise and all action fields are set to zero. Evaluation focuses on up to 4 tasks: opening the washing machine door, closing the washing machine door, placing two clothes into the washing machine, and unfolding and neatly folding clothes. Dataset fields include: three-view RGB images (resolution 1280×720, 30 FPS, from head camera, left wrist camera, and right wrist camera); language instructions (stored in `${dataset_name}/meta/info.json` with left-closed right-open intervals [start_frame_index, end_frame_index)); proprioception (observation.state and action are both 89-dimensional, including joint positions, joint velocities, joint torques, end-effector poses, and wheel joint states); inference interface (only robot joint positions are used as control commands, totaling 24 dimensions). The UMI data part includes 5 bimanual manipulation episodes (5940 frames) involving 4 unique tasks (folding shirts of different colors). All episodes are recorded at 30 FPS with ego video resolution 960×960. Fields include left and right wrist ego camera images, 16-dimensional proprioception and action, frame index, timestamps, task index, and other metadata, along with episode-level and action-step-level annotations and IMU data.
PrimeBot 家庭双臂操作挑战数据集
数据集概述
本数据集由启元机器人（PrimeBot）赞助，专为家庭场景下的双臂操作挑战赛设计。数据集采用标准 LeRobot V2.1 格式构建，包含真机遥操作数据和UMI数据两部分，覆盖超过12种真实家庭场景的双臂操作任务。
真机遥操作数据
训练集
训练集包含四个独立、不重叠的子集，可自由组合使用：
| 数据集名称 | 采集批次 | 任务类型 | 指令粒度 |
|---|---|---|---|
| full_task_batch1_train | 1 | 任务1-10 | 帧级 |
| fold_cloth_batch2_train | 2 | 任务8-10 | 帧级 |
| partial_task_batch3_train | 3 | 任务1,4,5 | 帧级 |
| partial_task_batch4_train | 4 | 任务1,2,3,9 | 片段级 |
代表性任务包括：打开/关闭洗衣机门、将衣物放入洗衣机、取出衣物放入篮子、搬运衣物篮、折叠衣物、放置折叠衣物等。所有数据均包含精确到帧的语言标注。
测试集与评估
- 测试集格式与训练集完全一致，但
observation.state包含随机噪声，所有action字段置零。 - 在线评估：参与者在
validation_data数据集上提交预测的动作轨迹，评估数据集为full_task_batch1_noise_valid和fold_cloth_batch2_noise_valid，评分仅针对上述列出的任务。 - 现场评估：评估限定在不超过4个任务（任务1、2、3、9），参与者需实现
load_model和predict函数并提交完整 Docker 镜像。
数据字段（真机遥操作）
图像
三视角RGB图像，分辨率1280×720，30 FPS：
- 头部相机：
observation.images.x2w_camera_head_realsense_compressed - 左手腕相机：
observation.images.x2w_camera_left_wrist_zedxonegs_rgb_raw_image_compressed - 右手腕相机：
observation.images.x2w_camera_right_wrist_zedxonegs_rgb_raw_image_compressed
本体感觉与动作
observation.state 和 action 均为89维，包含：
- 关节位置（索引0-21）：22个关节角度（rad），涵盖折叠关节、腰部、躯干、头部、双臂肩/肘/腕及手指关节。
- 关节速度（索引22-43）：对应关节角速度（rad/s）。
- 关节力矩（索引44-65）：对应关节输出扭矩（N·m）。
- 末端执行器位姿（索引66-79）：左右夹爪的位置（m）和四元数姿态。
- 轮式关节状态（索引80-88）：三个轮子的位置、速度和力矩。
语言标注采用左闭右开区间 [start_frame_index, end_frame_index)，完整注释信息存储在 ${dataset_name}/meta/info.json。
推理接口
推断时仅使用机器人关节位置作为控制命令，共25维，包括22个关节角度及3个轮速指令。
UMI数据
由crobotia赞助，采用标准 LeRobot v2.1 格式，包含5个双臂操作片段和左右手腕安装的自我中心相机数据。
数据概览
| 片段 | 任务 | 帧数 | 时长 |
|---|---|---|---|
| episode_000000 | 折叠红衫 | 1410 | 47秒 |
| episode_000001 | 折叠黑衫 | 1050 | 35秒 |
| episode_000002 | 折叠黄衫 | 870 | 29秒 |
| episode_000003 | 折叠黑衫 | 1050 | 35秒 |
| episode_000004 | 折叠棕衫 | 1560 | 52秒 |
总计5,940帧，4个唯一任务，30 FPS录制，自我中心视频分辨率960×960。
数据字段（UMI）
图像
observation.images.left_ego：左手腕RGB相机，960×960observation.images.right_ego：右手腕RGB相机，960×960
本体感觉与动作
observation.state 和 action 均为16维，包含左右末端执行器的位置、四元数及夹爪开合角度。action[t] = state[t+1]（最后一帧除外），左右位姿采用独立坐标系，不能直接用于计算双手相对距离或位姿。
注释与IMU
- 包含片段级任务/目标对象/成功注释和细粒度动作步骤分段。
- IMU数据包含左右时间戳、三轴角速度和三轴加速度。
- 注释区间采用半开区间
[start_frame_index, end_frame_index)约定。
使用说明
真机数据需安装指定版本的 LeRobot、mmengine、torch、numpy、torchcodec、torchvision 依赖，使用示例加载代码运行 python dataloader/custom_lerobot_dataset.py。UMI 数据使用 LeRobot 0.3.3 即可加载，已在 Python 3.11、PyTorch 2.7.1、TorchVision 0.22.1 和 pyav 视频后端下完成帧级测试。
