robomimic-can-paired-lerobot

robomimic can-paired数据集，转换为LeRobot v3.0格式，并带有成功/失败标签。原始robomimic can-paired数据集包含200个遥操作演示，执行robosuite的PickPlaceCan任务（Panda机器人）：100个配对任务初始化，每个配对包含一个成功演示（罐子被拿起并放入正确箱子）和一个失败演示（罐子被拿起并扔出机器人工作空间）。摄像头观测（agentview、robot0_eye_in_hand腕部摄像头）使用MuJoCo/robosuite v1.5.1在256x256分辨率下从原始demo_v15.hdf5状态重新渲染。成功/失败标签：每帧有布尔特征next.success（在episode内恒定）；每个episode的任务字符串以(success)或(failure)结尾，可通过任务元数据过滤，恰好100个成功/100个失败episode。标签衍生自稀疏任务奖励（success = max reward > 0）并与官方robomimic low_dim_v15.hdf5奖励交叉验证。特征包括：observation.images.agentview和wrist摄像头（256x256x3视频，20 fps）、observation.state（9维：末端执行器位置3，四元数4，夹爪位置2）、observation.environment_state（14维：物体罐子的位姿特征）、action（7维：OSC增量位姿6 + 夹爪1）、next.reward、next.done、next.success。来源：原始数据来自amandlek/robomimic数据集v1.5/can/paired；robomimic论文：Mandlekar等人，CoRL 2021。主页：https://robomimic.github.io/，论文：https://arxiv.org/abs/2108.03298，许可证：MIT。The robomimic can-paired dataset, converted to LeRobot v3.0 format with success/failure labels. The original robomimic can-paired dataset contains 200 teleoperated demonstrations performing the robosuite PickPlaceCan task (Panda robot): 100 paired task initializations, each pair contains a successful demonstration (can picked up and placed into correct bin) and a failed demonstration (can picked up and thrown out of robot workspace). Camera observations (agentview, robot0_eye_in_hand wrist camera) are re-rendered at 256x256 resolution from the original demo_v15.hdf5 states using MuJoCo/robosuite v1.5.1. Success/failure labels: boolean feature next.success per frame (constant within episode); each episodes task string ends with (success) or (failure), can be filtered by task metadata, exactly 100 success/100 failure episodes. Labels derived from sparse task rewards (success = max reward > 0) and cross-validated with official robomimic low_dim_v15.hdf5 rewards. Features include: observation.images.agentview and wrist cameras (256x256x3 video, 20 fps), observation.state (9-dim: end-effector position 3, quaternion 4, gripper position 2), observation.environment_state (14-dim: object can pose features), action (7-dim: OSC delta pose 6 + gripper 1), next.reward, next.done, next.success. Source: original data from amandlek/robomimic dataset v1.5/can/paired; robomimic paper: Mandlekar et al., CoRL 2021. Homepage: https://robomimic.github.io/, Paper: https://arxiv.org/abs/2108.03298, License: MIT.

原始信息汇总

数据集概述：robomimic-can-paired-lerobot

基本信息

• 数据集名称: robomimic can-paired（LeRobot格式转换版）
• 许可证: MIT
• 任务类别: 机器人（Robotics）
• 数据集主页: robomimic官网
• 相关论文: Mandlekar et al., CoRL 2021
• 创建工具: LeRobot

数据集内容

该数据集源自robomimic的can-paired数据集，包含200个遥操作演示，对应robosuite中的PickPlaceCan任务（Panda机器人），其中：

• 100个成功演示：罐子被拾取并放入正确箱子
• 100个失败演示：罐子被拾取但被抛出机器人工作空间

每个任务初始化包含一对成功/失败演示。摄像机观察（agentview和robot0_eye_in_hand腕部相机）使用MuJoCo/robosuite v1.5.1在离屏条件下以256x256分辨率重新渲染，数据来自原始的demo_v15.hdf5状态。

成功/失败标签

• 逐帧标签：布尔特征next.success（在单个episode内保持恒定）
• 逐episode标签：任务字符串以(success)或(failure)结尾，可通过任务元数据过滤episode
• 标签来源：从稀疏任务奖励（success = max reward > 0）推导，并与官方robomimic low_dim_v15.hdf5奖励交叉验证

特征说明

特征	维度	描述
observation.images.agentview	256x256x3	顶部视角视频 @ 20 fps
observation.images.wrist	256x256x3	腕部相机视频 @ 20 fps
observation.state	9	末端执行器位置(3)、四元数(4)、夹爪位置(2)
observation.environment_state	14	物体（罐子）位姿特征
action	7	OSC增量位姿(6) + 夹爪控制(1)
next.reward	1	奖励值
next.done	1	完成标志
next.success	1	成功标志

数据规模

• 总episode数: 200
• 总帧数: 19,795
• 总任务数: 2
• 数据文件大小: 约100 MB（Parquet格式）
• 视频文件大小: 约200 MB（AV1编码，MP4格式）
• 帧率: 20 fps
• 数据划分: 仅训练集（0:200）

零样本检查点

该数据集为偏好学习任务指定了零样本策略：lerobot/smolvla_base（约450M参数，VLM骨干+流匹配动作专家）。使用时需注意：

• 需将本数据集的observation.state(9维)和action(7维)映射到SmolVLA的填充状态/动作约定
• 该模型主要在SO-10x真实机器人社区数据上预训练，预期在robosuite PickPlaceCan任务上的零样本闭环成功率较低
• 官方实测零样本闭环成功率待定（TBD）

数据来源

• 原始数据来自amandlek/robomimic的v1.5/can/paired子集
• 引用参考：Mandlekar et al., "What Matters in Learning from Offline Human Demonstrations for Robot Manipulation", CoRL 2021