Spa_Bench_Partial_VLA-0

Name: Spa_Bench_Partial_VLA-0
Creator: justintiensmith
Published: 2026-09-07T04:17:59+08:00

Hugging Face2026-09-09 更新2026-09-09 收录

数据链接：

https://huggingface.co/datasets/justintiensmith/Spa_Bench_Partial_VLA-0 数据链接链接失效反馈

官方服务：

资源简介：

这是Spa-Bench物理rollout记录，针对VLA-0 Spa-Bench检查点在第12个epoch结束时的部分评估。它是一个部分熟悉/分布内基线，包含72个episodes（来自6个任务族，每个至少10个），共11051帧，51个独特的指令字符串，两个480×640 RGB视频流（中间/手腕相机），以及10 FPS的六维状态/动作数据。该检查点完成了0/72 trials（0%）。由于VLA-0的自回归动作生成较慢，获得了90秒的rollout限制。由于覆盖部分，本数据集被排除在完整的分布外（OOD）和诊断比较之外。每个轨迹存储指令/任务索引、六个绝对SO-101关节位置（状态和动作）以及同步的视频。本数据集用于审计、集成调试和定性故障分析，不得解释为OOD基准结果或VLA-0方法的总体评估。

This is a physical rollout record for Spa-Bench, corresponding to a partial evaluation of the VLA-0 Spa-Bench checkpoint at the end of epoch 12. It is a partial familiar/in-distribution baseline containing 72 episodes (from 6 task families, at least 10 each), totaling 11051 frames, 51 unique instruction strings, two 480×640 RGB video streams (third-person and wrist cameras), and 6D state/action data at 10 FPS. The checkpoint completed 0 out of 72 trials (0%). Due to the slow autoregressive action generation of VLA-0, a 90-second rollout limit was imposed. Because of partial coverage, this dataset is excluded from full out-of-distribution (OOD) and diagnostic comparisons. Each trajectory stores instruction/task indices, six absolute SO-101 joint positions (as state and action), and synchronized video. This dataset is intended for auditing, integration debugging, and qualitative failure analysis, and should not be interpreted as OOD benchmark results or an overall evaluation of the VLA-0 method.

提供机构：

justintiensmith

创建时间：

2026-09-07

原始信息汇总

Spa-Bench Physical Rollouts — VLA-0 (Partial)

数据集概述

名称：Spa-Bench Physical Rollouts — VLA-0 (Partial)
许可证：apache-2.0
任务类别：robotics
标签：LeRobot、robotics、so-101、spa-bench、evaluation、partial-evaluation、vla-0
配置：config_name 为 default，data_files 为 data//.parquet

数据集内容

该数据集为 VLA-0 Spa-Bench 检查点在 epoch 12 结束时的物理 SO-101 rollout 录制。
这是一个部分熟悉/分布内基线，不是完整的 Spa-Bench 评估。
包含 72 个 episode，六个任务家族中每个至少十个。
包含 11,051 帧、51 个唯一指令字符串、两个 480×640 RGB 流，以及 10 FPS 的六维状态/动作。
不包含 OOD 或额外诊断试验。
检查点完成了 0/72 次试验（0%）。
VLA-0 获得了 90 秒的 rollout 限制，因为自回归动作生成比其他被评估策略慢。
由于覆盖范围是部分的，它被排除在报告的完整 OOD 和诊断比较之外。
结果标签和分组维护在 Spa-Bench 评估电子表格中，而不是作为该数据集中的帧级成功字段。

结构与使用

每个轨迹存储指令/任务索引、用于状态和动作的六个绝对 SO-101 关节位置，以及同步的中部/腕部视频。
此发布支持审计、集成调试和定性失败分析。
不得将其解释为 OOD 基准结果或对 VLA-0 方法的总体评估。
不要在这些轨迹上训练并将其报告为留出性能。
机器人部署需要保障措施和人工监督。

引用

请引用已完成的 Spa-Bench MSc 报告：https://github.com/justintiensmith/Imperial-Thesis/blob/main/thesis/report/spa-bench-msc-thesis.pdf
论文制品：https://github.com/justintiensmith/Imperial-Thesis
以及 VLA-0 方法。