Spa_Bench_Partial_GR00T-N1.7_Full_Fine-Tune

本数据集包含用于Spa-Bench基准测试的物理SO-101 rollout记录，对应GR00T-N1.7全微调检查点（第12个epoch）。它是部分评估，包含120个episodes（每个任务族20个），共127,143帧、90个唯一指令字符串、两个480×640 RGB视频流以及六维状态/动作数据（30 FPS）。该数据集不包含分布外（OOD）或额外的诊断试验。检查点完成了25/120次试验（20.8%）。此数据集支持审计和定性失败分析，不得用于训练或作为OOD性能的证据。This dataset contains physical SO-101 rollout records for the Spa-Bench benchmark, corresponding to the GR00T-N1.7 full fine-tuning checkpoint (epoch 12). It is a partial evaluation consisting of 120 episodes (20 per task family), totaling 127,143 frames, 90 unique instruction strings, two 480×640 RGB video streams, and 6D state/action data (30 FPS). The dataset does not include out-of-distribution (OOD) or additional diagnostic trials. The checkpoint completed 25/120 trials (20.8%). This dataset supports auditing and qualitative failure analysis and must not be used for training or as evidence of OOD performance.

原始信息汇总

Spa-Bench Physical Rollouts — GR00T-N1.7 Full Fine-Tune (Partial)

数据集概述

• 数据集名称：Spa-Bench Physical Rollouts — GR00T-N1.7 Full Fine-Tune (Partial)
• 许可证：apache-2.0
• 任务类别：robotics
• 标签：LeRobot、robotics、so-101、spa-bench、evaluation、partial-evaluation、groot-n1.7
• 配置：
  • config_name：default
  • data_files：data//.parquet

数据集内容

• 内容为 epoch-12 GR00T-N1.7 Full Fine-Tune Spa-Bench 检查点的物理 SO-101 rollout 记录。
• 该数据集为部分 familiar/in-distribution 基线，而非完整的 Spa-Bench 评估。
• 包含 120 个 episode：来自六个任务族，每个任务族 20 个。
• 包含 127,143 帧。
• 包含 90 个唯一指令字符串。
• 包含两个 480×640 RGB 视频流。
• 包含六维 state/action，帧率为 30 FPS。
• 不包含 OOD 或额外诊断试验。

评估结果

• 该检查点完成了 25/120 次试验（20.8%）。
• 由于覆盖范围为部分，该数据集被排除在报告的完整 OOD 与诊断比较之外。

部署与处理说明

• 非夹爪部署动作使用了因果滤波器：filtered = 0.25 × current + 0.75 × previous_filtered，从测量状态初始化，并在每次 rollout 时重置。
• 该条件在计分计时器前还接受了小幅向上初始化辅助；相关模型卡记录了回顾性位移估计。
• 结果标签与分组维护在 Spa-Bench evaluation spreadsheets 中，而非作为该数据集中的帧级成功字段。

结构与用途

• 每条轨迹存储指令/任务索引、用于 state 和 action 的六个绝对 SO-101 关节位置，以及同步的 middle/wrist 视频。
• 该发布支持审计与定性失败分析。
• 不得将其用作 OOD 性能证据。
• 初始化干预使其无法与 Frozen LLM 配置进行清晰比较。
• 不得在这些轨迹上训练并将其报告为 held-out 性能。
• 机器人部署需要安全措施和人工监督。

相关链接

• Evaluated model：https://huggingface.co/justintiensmith/groot_multi_gpu_v2
• Spa-Bench thesis artifact：https://github.com/justintiensmith/Imperial-Thesis
• Spa-Bench evaluation spreadsheets：https://github.com/justintiensmith/Imperial-Thesis/tree/main/spreadsheets

引用

• 请引用 completed Spa-Bench MSc report：https://github.com/justintiensmith/Imperial-Thesis/blob/main/thesis/report/spa-bench-msc-thesis.pdf
• 以及 thesis artifact：https://github.com/justintiensmith/Imperial-Thesis