Spa_Bench_Full_GR00T-N1.7_Frozen_LLM
收藏资源简介：
Spa-Bench物理rollout数据集（GR00T-N1.7 Frozen LLM）是一个用于机器人空间操作基准Spa-Bench的评估记录。该数据集包含900个episode，共计830,614帧，356个独特指令字符串，两个480×640 RGB摄像头流（中腕和腕部），六维状态/动作信息，采样频率为30FPS。数据来自物理SO-101任务，记录了使用冻结LLM参数的GR00T-N1.7检查点的评估结果。数据集可用于审计、回放、定性失败分析和基准复现。
Spa-Bench Physical Rollout Dataset (GR00T-N1.7 Frozen LLM) is an evaluation record for the robotic spatial manipulation benchmark Spa-Bench. This dataset contains 900 episodes, totaling 830,614 frames, 356 unique instruction strings, two 480×640 RGB camera streams (mid-wrist and wrist), six-dimensional state/action information, and a sampling frequency of 30 FPS. The data comes from the physical SO-101 task and records evaluation results using the GR00T-N1.7 checkpoint with frozen LLM parameters. The dataset can be used for auditing, replay, qualitative failure analysis, and benchmark reproduction.
Spa-Bench Physical Rollouts — GR00T-N1.7 Frozen LLM 数据集总结
基本信息
- 数据集名称：Spa-Bench Physical Rollouts — GR00T-N1.7 Frozen LLM
- 许可证：apache-2.0
- 任务类别：robotics（机器人）
- 标签：LeRobot、robotics、so-101、spa-bench、evaluation、groot-n1.7
- 配置：默认配置（config_name: default），数据文件路径为
data/*/*.parquet - 数据集地址：https://huggingface.co/datasets/justintiensmith/Spa_Bench_Full_GR00T-N1.7_Frozen_LLM
数据集概述
该数据集为 epoch-12 GR00T-N1.7 Frozen LLM Spa-Bench 检查点的物理 SO-101 机器人部署记录。其中 LLM 参数被冻结，视觉、多模态以及扩散动作（diffusion-action）组件经过了适配。
范围与数量
- 这是一次完整的 Spa-Bench 评估，共 900 个 episode。
- 包含 300 个主要 withheld/OOD 空间试验 和 600 个诊断/对照试验。
- 仓库包含 830,614 帧、356 个唯一指令字符串、两路 480×640 RGB 视频流，以及 30 FPS 下的六维状态/动作数据。
报告的物理结果
| 条件 | 成功数 | 成功率 |
|---|---|---|
| 熟悉/分布内（Familiar/in-distribution） | 81/120 | 67.5% |
| 所有 withheld/OOD 空间配置 | 133/300 | 44.3% |
| 匹配的 OOD 子集 | 50/120 | 41.7% |
| 匹配的直接操作对照组 | 98/120 | 81.7% |
非夹爪（non-gripper）部署动作使用了因果滤波：
filtered = 0.25 × current + 0.75 × previous_filtered，其初始值来自测量状态，并在每次 rollout 时重置。
结果标签与分析分组维护于 Spa-Bench 评估电子表格中（https://github.com/justintiensmith/Imperial-Thesis/tree/main/spreadsheets），而非作为该 LeRobot 数据集中的帧级成功字段。
结构与用途
- 每条轨迹存储指令/任务索引、用于状态和动作的六个 SO-101 绝对关节位置，以及同步的中部/腕部视频。
- 该数据集为评估记录，用于审计、回放、定性失败分析和基准复现。
使用限制与说明
- 结果仅适用于所关联的检查点和物理协议。
- 运动裁剪后的训练数据和部署平滑为策略特定的选择，因此跨系列结果并非受控的架构消融。
- 请勿在这些轨迹上训练并将同一批 rollout 报告为留出性能。
- 部署需要安全防护措施和人工监督。
相关链接
- 被评估模型：https://huggingface.co/justintiensmith/groot_multi_gpu_v4
- Spa-Bench 论文工件：https://github.com/justintiensmith/Imperial-Thesis
引用
请引用已完成的 Spa-Bench MSc 报告（https://github.com/justintiensmith/Imperial-Thesis/blob/main/thesis/report/spa-bench-msc-thesis.pdf）以及论文工件（https://github.com/justintiensmith/Imperial-Thesis）。
