benchmark-datasets

这是一个延迟敏感基准数据集，包含已接受的零延迟教师rollouts，用于支持的基准任务。数据集包含两个子集：1. humanoidbench_balance_simple：包含90个训练片段和10个验证片段，观测图像为PNG格式，状态特征长度为198，动作长度为43，包含时间戳、片段索引等字段。2. mikasa_intercept_grab_fast：固定250/25的StarVLA分割，每个观测包含顶部和手腕图像，状态和动作长度均为7，包含时间戳、帧索引等字段。数据集还提供了仓库布局信息，包括原始NPZ文件、转换后的LeRobot数据以及面向浏览器的Parquet文件。This is a latency-sensitive benchmark dataset containing accepted zero-latency teacher rollouts for supported benchmark tasks. The dataset includes two subsets: 1. humanoidbench_balance_simple: 90 training episodes and 10 validation episodes, with observation images in PNG format, state feature length of 198, action length of 43, and includes fields such as timestamps and episode indices. 2. mikasa_intercept_grab_fast: fixed StarVLA split of 250/25, each observation contains top and wrist images, state and action lengths are both 7, including fields such as timestamps and frame indices. The dataset also provides repository layout information, including original NPZ files, converted LeRobot data, and browser-oriented Parquet files.

原始信息汇总

Latency-Sensitive Bench 数据集概述

该数据集页面提供 Latency-Sensitive Bench 基准任务的零延迟教师轨迹（teacher rollouts），支持机器人学习领域的 LeRobot 框架，数据格式包含图像与视频。

数据集配置

1. humanoidbench_balance_simple

• 用途：人形机器人平衡任务（来自 GR00T 官方划分）
• 规模：90 训练集 + 10 验证集轨迹
• 特征字段：
  • observation.image：图像（PNG 字节，以 Hugging Face Image 特征存储）
  • observation.state：状态向量（float32，长度 198）
  • action：动作向量（float32，长度 43）
  • timestamp、episode_index、frame_index、task_index、latency、latency_raw_frames、done、reward、density_weight
• 数据存储：训练/验证集各含 canonical LeRobot MP4 视频文件（位于 videos/ 目录），Parquet 数据路径为 zero-latency/humanoidbench-balance-simple/teacher-rollouts-v1/lerobot/data/chunk-*/*.parquet

2. mikasa_intercept_grab_fast

• 用途：机械臂拦截抓取任务（StarVLA 固定 250/25 划分）
• 规模：250 训练 + 25 验证轨迹
• 特征字段：
  • observation.images.top 与 observation.images.wrist：双视角 RGB 图像帧（每行 Viewer 数据均包含对应图像）
  • observation.state：状态向量（float32，长度 7）
  • action：动作向量（float32，长度 7）
  • timestamp、frame_index、episode_index、index、task_index
• 数据路径：
  • Viewer 格式：viewer/mikasa-intercept-grab-fast/train.parquet 与 validation.parquet
  • Canonical LeRobot 数据存储于任务路径下，RGB 观测以 MP4 文件形式保存；另有原始 NPZ 源轨迹（275 个成功片段）位于 zero-latency/mikasa-intercept-grab-fast/teacher-rollouts-v1/raw，以及 StarVLA 混合文件 mikasa_intercept_grab_fast_h1.json

仓库结构

• humanoidbench_balance_simple：官方 GR00T 划分的 LeRobot 格式数据、视频及元数据存放于 zero-latency/humanoidbench-balance-simple/teacher-rollouts-v1/lerobot 与 lerobot__val
• mikasa_intercept_grab_fast：原始 NPZ 数据、转换后的 LeRobot 格式（含验证集）及 Viewer 浏览器导向的 Parquet 文件分置于上述路径
• 未发布内容：Extreme Parkour 和 HAIC 数据集在其对应 VLA 流程通过文档化门槛前有意不发布
• 版本记录：历史源仓库保持修订版本不变——MIKASA 数据集修订版 28312021c634fa97f8068077dfd6eb0efe6d45ce，Balance 数据集修订版 dbb954842942196e127c9acc0d776b62aa679990

补充说明

• 每个子集的轻量浏览器分卷为方便 Dataset Viewer 展示而优化：humanoidbench 子集的图像以 PNG 字节形式呈现可预览，mikasa 子集每行直接嵌入 top 与 wrist 视角帧
• 精确的任务规则与复现命令需参考仓库工件注册表（https://github.com/ZihanWang314/latency-sensitive-bench/blob/master/docs/artifacts.md）