Spa_Bench_Full_MolmoAct2
收藏资源简介：
这是一个完整的Spa-Bench评估数据集，包含900个episodes的物理SO-101 rollout记录，用于MolmoAct2检查点（epoch 12, step 76,596）。该数据集包含782,590帧、356个独特指令字符串、两个480×640 RGB流以及30 FPS的六维状态/动作。该数据集是评估记录，用于审计、回放、定性失败分析和基准复现，不应用于微调。
This is a complete Spa-Bench evaluation dataset containing 900 episodes of physical SO-101 rollout records for the MolmoAct2 checkpoint (epoch 12, step 76,596). It includes 782,590 frames, 356 unique instruction strings, two 480×640 RGB streams, and 30 FPS 6-dimensional state/actions. This dataset is an evaluation record intended for auditing, replay, qualitative failure analysis, and benchmark reproduction, and should not be used for fine-tuning.
Spa-Bench Physical Rollouts — MolmoAct2 数据集概述
基本信息
- 数据集名称：Spa-Bench Physical Rollouts — MolmoAct2
- 许可证：apache-2.0
- 任务类别：robotics
- 标签：LeRobot、robotics、so-101、spa-bench、evaluation、molmoact2
- 配置：default，数据文件为 data//.parquet
数据集内容
本数据集为 MolmoAct2 Spa-Bench 检查点（epoch 12，step 76,596）的 SO-101 物理 rollout 记录。
范围与计数
- 完整的 Spa-Bench 评估：900 个 episode
- 300 个主要 withheld/OOD 空间试验
- 600 个诊断/对照试验
- 包含 782,590 帧
- 356 个唯一指令字符串
- 两路 480×640 RGB 视频流
- 六维状态/动作，帧率 30 FPS
报告的物理结果
| 条件 | 成功数 | 成功率 |
|---|---|---|
| Familiar/in-distribution | 87/120 | 72.5% |
| All withheld/OOD spatial configurations | 156/300 | 52.0% |
| Matched OOD subset | 73/120 | 60.8% |
| Matched direct-manipulation controls | 107/120 | 89.2% |
结果标签与分析分组维护于 Spa-Bench evaluation spreadsheets（https://github.com/justintiensmith/Imperial-Thesis/tree/main/spreadsheets），并非作为本 LeRobot 数据集中的帧级成功字段。二元成功使用报告中定义的任务特定标准；不分配部分得分。
结构与用途
- 每条轨迹存储指令/任务索引、用于状态和动作的六个绝对 SO-101 关节位置，以及同步的中间/腕部视频。
- 这是评估记录，不是微调数据集。
- 用途：审计、回放、定性失败分析、基准复现。
适用范围与安全说明
- 结果仅适用于所链接的检查点、工作空间、物体布局和物理协议。
- 请勿在这些轨迹上训练，然后将相同 rollout 报告为留出性能。
- 机器人数据可能导致不安全行为；部署需要安全措施和人工监督。
相关链接
- Evaluated model：https://huggingface.co/justintiensmith/molmoact2_Reasoning_Step_076596
- Spa-Bench thesis artifact：https://github.com/justintiensmith/Imperial-Thesis
引用
请引用 completed Spa-Bench MSc report（https://github.com/justintiensmith/Imperial-Thesis/blob/main/thesis/report/spa-bench-msc-thesis.pdf）和 thesis artifact（https://github.com/justintiensmith/Imperial-Thesis）。
