single_pickplace
收藏资源简介：
该数据集名为pick_and_place-300，涉及使用Unitree G1机器人搭配Dex3灵巧手进行遥操作，任务为“将章鱼捡起并放入棕色篮子中”。数据集包含349个episodes（其中322个为正样本演示，27个为负样本），总计161,440帧视频，时长约2.24小时，帧率为20fps。使用3个h264编码的640×480分辨率yuv420p摄像头记录。状态和动作数据为43维浮点数。任务字符串为“pick octopus and place inside brown basket”。总数据大小约为2.5 GB。
pick_and_place-300——Unitree G1 + Dex3, pick octopus and place inside brown basket. LeRobot v2.1 dataset. Teleoperated dual-arm G1 robot with Dex3 hands; lower body uses GR00T whole-body control policy, upper body teleoperated. Contains 349 episodes (322 positive demonstrations + 27 negative), 161,440 frames (2.24 hours @ 20 fps), 20fps, 3 h264 640×480 yuv420p cameras, state/action 43-dim float, task string pick octopus and place inside brown basket, size 2.5 GB.
数据集概述：pick_and_place-300
基本信息
- 任务：使用 Unitree G1 机器人 + Dex3 双手，执行“拾取章鱼并放入棕色篮子”的操作任务
- 格式：LeRobot v2.1 数据集，包含遥操作的双臂 G1 机器人数据，下半身由 GR00T 全身控制策略控制，上半身为遥操作
- 规模：349 个片段（322 个正样本 + 27 个负样本），共 161,440 帧，时长 2.24 小时，帧率 20 FPS
- 传感器：3 个 h264 编码摄像头，分辨率 640×480，yuv420p
- 状态/动作维度：43 维全身向量（float64）
- 文件大小：2.5 GB
- 许可证：Apache-2.0
摄像头配置
| 摄像头键 | 安装位置 | 映射到 pi0.5 的键 |
|---|---|---|
observation.images.ego_view |
头部/胸部，向下看桌面，可见双手、物体和篮子 | base_0_rgb |
observation.images.ego_left |
左手腕 | left_wrist_0_rgb |
observation.images.ego_right |
右手腕 | right_wrist_0_rgb |
关节布局说明
- 43 维向量结构：
- 索引 0–11：腿部（受 WBC 控制，非遥操作）
- 索引 12–14：腰部（采集时禁用）
- 索引 15–42：上半身（28 维，训练目标）
- 上半身排序：
[左臂 7, 左手 7, 右臂 7, 右手 7]，非[手臂 14, 手部 14]，变换时需要交错处理 - 动作掩码建议：delta-action 掩码应为
make_bool_mask(7, -7, 7, -7)，而非make_bool_mask(14, -14)，否则右侧执行任务的手臂会保留在绝对动作上
数据特性（类似 bug 但属正常）
- 27 个负样本片段：索引 51–63、65–74、76–79，桌面缺少章鱼或篮子，机器人空转，手部未受指令。保留它们可教会策略在场景不完整时不行动
- 左手动作全为 0.0：所有 161,440 帧中，左手 7 维动作恒为 0.0（表示张开/中立），28 维动作中有 7 维为常数
- 手指耦合：
right_hand_index_1 == right_hand_middle_1且right_hand_thumb_1 == right_hand_thumb_2，实际右手自由度为 5 而非 7 - 手部动作超范围：
right_hand_middle_0指令值达 2.98 rad，超出可达到的 1.56 rad，超调代表抓取力度，不应按状态范围截断，应按训练动作范围截断（scripts/clamp_spec.json） - 7 个录制会话：边界在片段索引 0、80、131、174、184、311、338，各会话在桌子位置、篮子（会话 4 使用更轻的柳条篮）、光照和左臂休息姿势上有差异，采样时应跨会话分层
已知缺陷
- 片段 172、173：三个摄像头全部冻结在单个静止帧上，共 698 帧，可能误导策略认为操作在视觉不变的情况下成功
- 片段 146、147：
ego_left摄像头冻结 240/402 帧，其他两个摄像头正常 - 可用
observation.img_state_delta检测（正常约 0.033 秒，缺陷片段为 21–595 秒），如需严格干净的视觉集，可用scripts/make_subset.py排除
缺失模式
- 无完成后的保持模式：正样本中位数为 5 帧（0.25 秒）的尾部静止，仅 1% 达到 1 秒，没有达到 2 秒。任务完成后手臂即撤退，仅凭此数据训练的策略缺乏停止信号，会倾向于重复尝试任务
来源说明
- 数据集由 7 个录制会话拼接而成，原始
episode_index/index列保留各会话原始值，导致 349 个片段中 269 个报告错误的episode_index，可能使 77% 的样本从错误片段中抽取图像。此问题已在发布版本中修复（scripts/repair_indices.py，幂等，支持--dry-run）。meta/episodes.jsonl、meta/episodes_stats.jsonl及全部 1047 个视频已与文件名对齐，未更改
文件内容
data/chunk-000/episode_.parquet 349 个文件 videos/chunk-000/observation.images.{ego_view,ego_left,ego_right}/episode_.mp4 meta/{info,modality}.json meta/{episodes,episodes_stats,tasks}.jsonl PI05_G1_PICKPLACE_RUNBOOK.md pi0.5 SFT 运行手册（起始点） PI05_G1_DEX3_SFT_RUNBOOK.md 旧版运行手册（已被取代） RUNBOOK_CORRECTIONS.md 两版手册差异说明 g1_dex3_policy.py openpi 变换（43→28 切片，相机映射） openpi_config_block.py openpi 训练配置代码块 scripts/repair_indices.py 索引修复（已应用） scripts/make_subset.py 构建分层子集 scripts/test_transforms.py 验证变换管道 scripts/check_token_len.py 验证 max_token_len 充足性 scripts/verify_download.py 验证下载完整性 scripts/patch_openpi_config.py 应用策略和训练配置 scripts/check_dataloader.py 预训练数据加载器检查 scripts/prune_checkpoints.py 压缩检查点（600 GiB → 188 GiB） scripts/clamp_spec.json 各关节机器人侧截断限制 scripts/upload_to_hf.py 发布到 Hub reference_frames/ 每个录制会话的帧 0，用于场景设置
- 根目录的
filter_upper.py、add_quantiles.py和add_image_stats.py针对不同的管道（LeRobot v3.0），不用于本运行手册，仅供参考
隐私说明
- 在共享办公室录制，旁观者在手腕摄像头视图中可见且可识别
