Spa_Bench_Full_Pi0.5
收藏官方服务：
资源简介：
pi0.5 Spa-Bench检查点（第12轮，第76,596步）的物理SO-101 rollout记录。
Physical SO-101 rollout records of pi0.5 Spa-Bench checkpoint (epoch 12, step 76,596).
提供机构：
justintiensmith创建时间：
2026-09-07
原始信息汇总
Spa-Bench Physical Rollouts — pi0.5
基本信息
- 数据集名称：Spa-Bench Physical Rollouts — pi0.5
- 许可协议：apache-2.0
- 任务类别：robotics
- 标签：LeRobot、robotics、so-101、spa-bench、evaluation、pi0.5
- 配置：default（数据文件路径：data//.parquet）
概述
该数据集包含 pi0.5 Spa-Bench 检查点（epoch 12，step 76,596）的物理 SO-101 rollout 录制数据。
范围与数量
- 评分基准协议：episodes 0–899
- 300 个主要 withheld/OOD 空间试验
- 600 个诊断/对照试验
- 其提示序列与 MolmoAct2 和 GR00T-N1.7 Frozen LLM 完整发布版本完全一致。
- 仓库内容：920 个 episodes、781,538 帧、356 个唯一指令字符串、两条 480×640 RGB 视频流、6 维状态/动作，帧率 30 FPS。
- Episodes 900–919：额外的 Size Recognition 录制，使用六种熟悉的最小/最大提示形式。作为原始研究记录保留，但排除在论文的 900-rollout 分析之外。
已报告的物理结果
| 条件 | 成功数 | 成功率 |
|---|---|---|
| 熟悉/分布内 | 82/120 | 68.3% |
| 所有 withheld/OOD 空间配置 | 122/300 | 40.7% |
| 匹配的 OOD 子集 | 54/120 | 45.0% |
| 匹配的直接操作对照 | 100/120 | 83.3% |
结果标签和分析分组维护在 Spa-Bench 评估电子表格中，而非作为此 LeRobot 数据集中的帧级成功字段。二元成功使用报告中定义的任务特定标准；不分配部分得分。
结构与用途
- 每条轨迹存储指令/任务索引、用于状态和动作的 6 个绝对 SO-101 关节位置，以及同步的中间/腕部视频。
- 这是评估记录，不是微调划分。
- 用途：审计、回放、定性失败分析和基准复现。
适用范围与注意事项
- 结果仅适用于所链接的检查点、工作空间、物体布局和物理协议。
- 不得使用这些轨迹扩充训练集，然后在同一基准上作为留出集报告性能。
- 机器人数据可能引发不安全行为；部署需要安全措施和人工监督。
相关链接
- 评估模型：https://huggingface.co/justintiensmith/pi05_Reasoning_Step_076596
- Spa-Bench 论文工件：https://github.com/justintiensmith/Imperial-Thesis
- Spa-Bench 评估电子表格：https://github.com/justintiensmith/Imperial-Thesis/tree/main/spreadsheets
引用
请引用已完成的 Spa-Bench MSc 报告（https://github.com/justintiensmith/Imperial-Thesis/blob/main/thesis/report/spa-bench-msc-thesis.pdf）和论文工件（https://github.com/justintiensmith/Imperial-Thesis）。
