rapt-g1-ood
收藏资源简介：
RAPT G1 OOD Benchmark是一个用于人形机器人分布外（OOD）检测的模拟数据集，伴随研究论文《RAPT: Model-Predictive Out-of-Distribution Detection and Failure Diagnosis for Sim-to-Real Humanoid Deployment》发布。该数据集旨在支持从模拟到真实环境部署中的故障检测与诊断研究。核心数据在NVIDIA Isaac Lab模拟环境中收集，基于Unitree G1人形机器人，采样频率为50 Hz，涵盖三个任务：全向速度跟踪（g1_velocity）、舞蹈动作模仿（Dance-102，g1_mimic_dance102）和特定风格动作模仿（Gangnam Style，g1_mimic_gangnam）。每个任务提供多个数据文件，包括用于训练自监督检测器的纯名义数据（train.npz和train_small.npz）、用于校准的专用名义数据（calibration.npz）以及包含标记的评估数据（test.npz）。此外，包含真实机器人部署数据（g1_velocity_real），用于模拟到真实协议研究。数据规模方面，速度跟踪任务观测维度96，动作维度29，训练时长约6.2小时（小版本1.5小时），测试包含432个OOD序列和401个名义序列；模仿任务观测维度154，动作维度29，训练时长约6.8小时（小版本1.7小时），测试序列数分别为521/523和268/837。数据集总大小从491 MB到1.28 GB不等。数据格式为NumPy存档文件（float16精度），每个序列包含观测数组、动作数组，测试文件中还包含标签、故障注入步长和故障类别名称。OOD类别涵盖观测层面（如传感器漂移、噪声）和物理层面（如执行器动力学、环境扰动）的故障。适用于时间序列预测、异常检测、分布外检测、机器人学及模拟到真实迁移等研究任务，特别关注名义数据效率和检测算法在模拟与真实环境中的性能。
RAPT G1 OOD Benchmark is a simulation dataset for out-of-distribution (OOD) detection in humanoid robots, released alongside the research paper RAPT: Model-Predictive Out-of-Distribution Detection and Failure Diagnosis for Sim-to-Real Humanoid Deployment. It aims to support fault detection and diagnosis research in sim-to-real deployment. The core data consists of proprioceptive trajectory data collected at 50 Hz in the NVIDIA Isaac Lab simulation environment, using an expert reinforcement learning policy on the Unitree G1 humanoid robot. It covers three tasks: omnidirectional velocity tracking (g1_velocity), dance motion imitation (Dance-102, g1_mimic_dance102), and specific style motion imitation (Gangnam Style, g1_mimic_gangnam). Each task directory provides multiple data files: pure nominal data for training self-supervised detectors (train.npz, approximately 1.2 million steps, and a smaller version train_small.npz, approximately 300,000 steps for studying detection performance with limited nominal data), dedicated nominal data batches for calibrating detector operating points (calibration.npz), and labeled evaluation episode data (test.npz, which includes parallel environment sequences with perturbations and unperturbed nominal controls starting from step 50 for each OOD category). Additionally, it includes a real robot deployment data directory (g1_velocity_real) with proprioceptive logs from running the velocity policy on a physical Unitree G1 robot, including nominal calibration runs and 50 labeled runs with 8 induced fault categories for sim-to-real protocol studies. In terms of scale, the velocity tracking task has an observation dimension of 96, action dimension of 29, training duration of approximately 6.2 hours (small version 1.5 hours), and test data includes 432 OOD sequences and 401 nominal sequences; the two imitation tasks have an observation dimension of 154, action dimension of 29, training duration of approximately 6.8 hours (small version 1.7 hours), and test sequence counts of 521/523 and 268/837, respectively. The total dataset size ranges from 491 MB to 1.28 GB. The data format is NumPy archive files (float16 precision), with each sequence containing observation arrays (seq_%05d) and action arrays (act_%05d), and test files also include labels (0 for nominal/1 for anomaly), fault injection step (onset), and fault category name (fault). OOD categories cover observation-level faults (e.g., sensor drift, zeroing, scaling, swapping, noise, delay) and physical-level faults (e.g., actuator dynamics, initial state, environmental perturbations, friction). The dataset is suitable for research tasks such as time series forecasting, anomaly detection, out-of-distribution detection, robotics, and sim-to-real transfer, with a focus on studying nominal data efficiency and detection algorithm performance in both simulated and real environments.
数据集概述
RAPT G1 OOD Benchmark 是一个用于人形机器人 Unitree G1 的离群检测（OOD）仿真与真实数据集，随论文 RAPT: Model-Predictive Out-of-Distribution Detection and Failure Diagnosis for Sim-to-Real Humanoid Deployment 发布。数据集包含从 NVIDIA Isaac Lab 中专家强化学习策略采集的本体感知轨迹（50 Hz），用于训练和评估离群检测模型。
任务与规模
| 任务目录 | 任务描述 | 观测维度 | 动作维度 | 训练集（小规模） | 校准集 | 测试序列（OOD / 正常） | 大小 |
|---|---|---|---|---|---|---|---|
g1_velocity |
全向速度跟踪 | 96 | 29 | ~6.2小时（~1.5小时） | 225 | 432 / 401 | 491 MB |
g1_mimic_dance102 |
动作模仿（Dance-102） | 154 | 29 | ~6.8小时（~1.7小时） | 437 | 521 / 523 | 1.25 GB |
g1_mimic_gangnam |
动作模仿（Gangnam Style） | 154 | 29 | ~6.8小时（~1.7小时） | 407 | 268 / 837 | 1.28 GB |
- 专家策略：论文中的 GCR-PPO 速度策略和已部署的模仿策略。
- 论文中的第四个任务（抛掷任务）尚未包含在此发布中。
数据集文件
每个任务目录包含以下文件：
train.npz：仅含正常数据的训练序列，约 120 万步，用于训练自监督检测器。train_small.npz：正常训练集的 4 倍缩小版本（约 30 万步），用于研究有限正常数据下的检测性能。calibration.npz：专用于校准检测器操作点的正常数据批次。test.npz：标注的评估序列（速度任务 1000 步，模仿任务 1500 步）。每个 OOD 类别中，一半的并行环境从第 50 步开始被扰动，另一半正常运行作为正常对照。metadata.json：包含任务、策略、维度、时间步长、扰动开始步、类别列表、分割大小等信息。
真实机器人数据（g1_velocity_real）
来自论文中物理 Unitree G1 部署的本体感知日志（50 Hz，同 96 维）：
calibration.npz：真实世界正常校准运行数据（约 2.3 分钟）。test.npz：50 个标注的运行序列（约 76 分钟），包括 11 个正常行走和 39 个异常运行（覆盖 8 种诱导故障类别：action_scaling、initial_state、policy_latency、motor_dynamics、motor_failure、observation_ordering、sensor_noise、footwear_contact）。无训练集分割，检测器在仿真数据（g1_velocity/train.npz）上训练并使用真实校准运行进行校准。
注意：故障开始时间未知（onset = -1）；部分异常日志仅包含 1-22 步（故障导致机器人立即失稳）；论文中的推、负载、碰撞/障碍和可变形地形运行未包含在此发布中（此处 N=50 vs. 论文中 N=78）。
OOD 类别（测试集）
- 观测层面：
sensor_drift、sensor_zero、scale_half、scale_double、obs_swap、action_swap、noise、latency_offset、latency_slow、frozen_sensor。 - 物理层面（在 Isaac Lab 中仿真）：
actuator_dynamics、init_state、env_disturbance（推/负载）、env_friction。
采样范围遵循论文补充材料中的“仿真 OOD 类别”。如果机器人摔倒（安全终止），序列会提前结束，因此长度可变。
数据格式
使用 float16 的 Ragged NumPy 存档。每个序列 i 包含键：
seq_%05d：[T_i, obs_dim]的观测数据act_%05d：[T_i, action_dim]的动作数据dim_names：命名观测维度列表- 在
test.npz中额外包含：labels：0（正常）/ 1（异常）onset：扰动注入步（正常序列为 -1）fault：故障类别名称
使用示例
python from huggingface_hub import snapshot_download path = snapshot_download("hmunn/rapt-g1-ood", repo_type="dataset")
使用 RAPT 代码库加载
from rapt import load_sequences train = load_sequences(f"{path}/g1_velocity/train.npz") # 仅正常数据 test = load_sequences(f"{path}/g1_velocity/test.npz") # 标注数据
或使用纯 NumPy
import numpy as np data = np.load(f"{path}/g1_velocity/test.npz") obs0 = data["seq_00000"].astype("float32")
训练和评估 RAPT（指标保存为 JSON）：
bash python scripts/benchmark.py <path>/g1_velocity <path>/g1_mimic_* --out results
引用
bibtex @article{munn2026rapt, title = {RAPT: Model-Predictive Out-of-Distribution Detection and Failure Diagnosis for Sim-to-Real Humanoid Deployment}, author = {Munn, Humphrey and Tidd, Brendan and B{"o}hm, Peter and Gallagher, Marcus and Howard, David}, journal = {arXiv preprint arXiv:2602.01515}, year = {2026} }
