AdaRoute

AdaRoute Dataset v1 是一个用于学习新障碍物周围动作条件机器人动力学的匹配干预数据集。它包含来自固定策略 pi0.5 的原始 LIBERO-10 任务 rollout、直接障碍物失败案例、运动规划器桥接轨迹以及随后的策略延续数据。数据集规模包含 375 个匹配的根轨迹（300 个基础根轨迹和 75 个受控重试），总计 1,529 个符合模式的 HDF5 轨迹，磁盘占用约 98 GiB。数据覆盖 LIBERO-10 的任务 0、8 和 9，包含 764 个无碰撞执行的规划器桥接、307 个规划后成功的策略延续以及 328 个被标记为“卡住”的候选延续。障碍物为固定圆柱体、横杆和墙壁，其姿态和颜色有所变化。每个根轨迹在相同任务状态、物体偏移和障碍物设置下，包含五个分支变体：无障碍物的干净策略执行、直接在有障碍物环境下执行的策略、以及三种不同规划器桥接（最短路径、最高清空度、与阶段兼容的端点）后接策略延续的组合。数据每帧存储双视角 256x256 RGB 图像（agent_rgb 和 wrist_rgb）、模拟器生成的二值障碍物掩码、末端执行器和机械臂的本体感知数据（位置、速度）、归一化的 7 维动作指令、实际末端执行器位移、动作来源标签、奖励、完成标志、卡住标志和障碍物接触标签，以及特权模拟状态（关节位置、速度、物体和障碍物姿态）。RGB 图像、本体感知、任务文本和动作可作为可部署的动作条件世界模型（AC-WM）的输入；而模拟器状态、接触信息、奖励和真实掩码仅用于离线监督和评估。数据集旨在支持 AC-WM 训练、动作跟随评估、物理交互建模、碰撞/卡住预测、规划器端点评分以及策略-规划器交接研究。数据集以原始 HDF5 格式分发，以保留帧对齐的图像、掩码和物理交互数据的完整性。AdaRoute Dataset v1 is a matched intervention dataset for learning action-conditioned robot dynamics around novel obstacles. It contains raw LIBERO-10 task rollouts from a fixed policy pi0.5, direct obstacle failure cases, motion planner bridge trajectories, and subsequent policy continuation data. The dataset comprises 375 matched root trajectories (300 base root trajectories and 75 controlled retries), totaling 1,529 conforming HDF5 trajectories, occupying approximately 98 GiB on disk. It covers tasks 0, 8, and 9 of LIBERO-10, including 764 collision-free planner bridges, 307 successful policy continuations after planning, and 328 candidate continuations marked as stuck. Obstacles are fixed cylinders, crossbars, and walls with varying poses and colors. Each root trajectory, under the same task state, object offset, and obstacle configuration, contains five branch variants: clean policy execution without obstacles, direct policy execution in the presence of obstacles, and three combinations of different planner bridges (shortest path, highest clearance, stage-compatible endpoint) followed by policy continuation. Per frame, the dataset stores dual-view 256x256 RGB images (agent_rgb and wrist_rgb), simulator-generated binary obstacle masks, end-effector and arm proprioception (position, velocity), normalized 7-dimensional action commands, actual end-effector displacement, action source label, reward, completion flag, stuck flag, obstacle contact label, and privileged simulator state (joint positions, velocities, object and obstacle poses). RGB images, proprioception, task text, and actions can serve as input for deployable action-conditioned world models (AC-WM); while simulator state, contact information, reward, and ground-truth masks are used only for offline supervision and evaluation. The dataset is intended to support AC-WM training, action-following evaluation, physical interaction modeling, collision/stuck prediction, planner endpoint scoring, and policy-planner handover research. The dataset is distributed in raw HDF5 format to preserve frame-aligned integrity of images, masks, and physical interaction data.

原始信息汇总

AdaRoute Dataset v1 概述

数据集名称：AdaRoute Dataset v1
语言：英语
标签：机器人学、机器人操作、具身智能、动作条件世界模型、运动规划、LIBERO
数据规模：1K < n < 10K

数据集简介

AdaRoute v1 是一个用于学习在新型障碍物周围进行动作条件机器人动力学的匹配干预数据集。包含来自冻结 pi0.5 策略的原始 LIBERO-10 轨迹、直接障碍物故障、运动规划器桥接以及后续策略延续。

项目代码与收集详情：https://github.com/Loule0-0/AdaRoute

发布摘要

• 匹配根节点数量：375 个，其中 300 个基础根节点，75 个控制重试
• 轨迹数量：1,529 条符合模式的 HDF5 轨迹
• 磁盘占用：约 98 GiB（104,247,555,293 字节）
• 任务分布：LIBERO-10 任务 0、8、9，分别包含 526、494、509 条轨迹
• 规划器桥接：764 条无碰撞的执行规划器桥接
• 策略延续：307 次成功规划后策略延续
• 卡住延续：328 条被标记为卡住的候选延续
• 障碍物类型：固定圆柱、条形和墙壁障碍物，具有变化的姿态和颜色

匹配分支结构

每个根节点共享相同的任务状态、物体偏移和障碍物，包含以下分支：

1. clean_policy：无障碍物下的 pi0.5
2. obstacle_policy：pi0.5 直接围绕障碍物执行
3. candidate_01_shortest：最短可行规划器桥接，后接 pi0.5
4. candidate_02_clearance：最高间隙桥接，后接 pi0.5
5. candidate_03_recovery_prior：阶段兼容端点，后接 pi0.5

部分根节点被有意保留为负规划覆盖数据，包含少于三个可行规划器分支，但每条存储轨迹都是完整的。

存储信号

每帧存储内容：

• 观测：observations/agent_rgb 和 observations/wrist_rgb（256×256 RGB）
• 障碍物掩码：observations/*_obstacle_mask（模拟器真实二进制障碍物掩码）
• 本体感：proprio/eef_*、gripper_qpos、arm_qpos、arm_qvel
• 动作：actions/commanded_osc（归一化 7D LIBERO EEF 增量姿态及抓手）、actions/realized_eef_delta、actions/source
• 标签：labels/reward、done、stuck 以及障碍物接触标签
• 特权信息：privileged/sim_qpos、sim_qvel、物体姿态和障碍物姿态

RGB、本体感、任务文本和动作可作为可部署的 AC-WM 输入。模拟器状态、接触、奖励和真实掩码仅用于离线监督和评估标签。障碍物掩码不作为在线触发输入。

注意：commanded_osc[i] 是产生观测 i 的动作，而非来自该观测的下一个动作。

存储库结构

text README.md manifests/ adaroute_train_v1.jsonl adaroute_train_v1_retries_v4.jsonl adaroute_train_v1_with_retries.jsonl train/ task_00/<root>/<branch>/{trajectory.h5,metadata.json} task_08/<root>/<branch>/{trajectory.h5,metadata.json} task_09/<root>/<branch>/{trajectory.h5,metadata.json} scene_files/ audit_final.json audit_final.csv file_index.tsv sample_episode_inspection.json

下载方式

bash hf download Jaqen0-0/AdaRoute --repo-type dataset --local-dir data/adaroute_train_v1

数据集以原始 HDF5 格式发布，而非扁平化为 Hugging Face datasets 表，以避免帧对齐图像、掩码、物理交互和特权评估标签的有损或重复编码。

最小读取示例

python import h5py

path = "train/task_00/<root>/<branch>/trajectory.h5" with h5py.File(path, "r") as episode: agent_rgb = episode["observations/agent_rgb"][0] wrist_rgb = episode["observations/wrist_rgb"][0] action = episode["actions/commanded_osc"][0] obstacle_mask = episode["observations/agent_obstacle_mask"][0]

预期用途

该数据集支持以下研究方向：

• AC-WM 训练
• 动作跟随评估
• 物理交互建模
• 碰撞/卡住预测
• 规划器端点评分
• 策略-规划器交接研究

在使用时，不应将特权模拟器字段作为可部署输入用于报告真实机器人兼容结果。

许可说明

该数据集未声明独立许可证。用户需自行遵守 AdaRoute、LIBERO、MuJoCo、OpenPI 及底层模拟资产的许可条款。

搜集汇总

数据集介绍

构建方式

AdaRoute数据集是为学习动作条件下的机器人动力学建模而精心构建的匹配干预数据集。其构建基于冻结的pi0.5策略在LIBERO-10环境中生成的原始轨迹，并通过引入阻碍策略直接执行的障碍物场景，以及利用运动规划器生成绕障路径后继续执行策略的桥接轨迹，系统性地收集了375个匹配根节点，包含1,529条符合HDF5格式的完整轨迹。每个根节点共享相同的任务状态、物体偏移和障碍物配置，并衍生出无障碍物策略、直接执行策略、最短可行规划桥接、最大间隙桥接和阶段兼容端点桥接五种分支，以捕捉障碍物干预下的多样化动力学表现。

特点

该数据集具备独特的匹配分支结构，每个根节点下的五种分支允许对策略在有无障碍物、不同规划策略下的行为进行对比分析。数据集中包含764条无碰撞的规划器桥接轨迹、307次成功规划后策略延续以及328次标记为卡住的候选延续，为碰撞预测与规划-策略切换研究提供了丰富素材。每一帧均存储了双256×256 RGB图像、模拟器生成的二进制障碍物掩码、机器人本体状态和动作指令，其中动作采用归一化的LIBERO末端执行器增量位姿格式，并附带实现增量与来源标签，支持离线监督与评估。

使用方法

AdaRoute数据集以原始HDF5格式分发，避免了对帧对齐图像和物理交互信息的损失性重编码。用户可通过Hugging Face的`hf download`命令将数据集下载至本地目录，并使用`h5py`库直接读取轨迹文件中的观测、动作和障碍物掩码等信号。该数据集适用于动作条件世界模型训练、动作跟随评估、物理交互建模、碰撞与卡滞预测以及规划-策略切换研究，但在报告兼容真实机器人的结果时，应避免将特权模拟器字段用作可部署输入。发布版本包含训练集清单文件和任务子目录，组织清晰便于批处理与审计。

背景与挑战

背景概述

在具身智能与机器人操控领域，策略模型在面对未见障碍物时的泛化能力是衡量其鲁棒性的关键指标。现有数据集多聚焦于无干扰环境下的任务执行，而实际部署中机器人常需应对动态或静态障碍物，这要求模型具备动作条件下的世界模型（action-conditioned world model）推理能力。为填补这一空白，AdaRoute数据集于2025年前后由研究者团队构建，基于LIBERO-10仿真环境，围绕冻结的pi0.5策略展开，旨在系统研究机器人面对新颖障碍物时的动力学学习与运动规划交接问题。该数据集通过精心设计的匹配干预实验框架，记录了原始策略执行、障碍物干扰失败以及运动规划桥接后的策略续行轨迹，为评估策略在复杂物理交互场景中的适应性提供了标准化基准。其对具身智能领域的贡献在于推动了可部署的动作条件世界模型在真实机器人兼容条件下的开发与验证。

当前挑战

AdaRoute所解决的领域核心挑战在于：传统机器人数据集缺乏对动作条件动力学在未见障碍物场景下的系统标注，导致策略模型难以学习有效的物理交互与障碍规避行为。具体而言，研究面临两大挑战：其一，在问题层面，需要同时应对策略在执行中的碰撞、卡住等异常状态，并设计有效的规划-策略交接（policy-planner handoff）机制，以平衡动作流畅性与避障可靠性；其二，在数据集构建层面，需在仿真中精确控制任务状态、物体偏移和障碍物属性（如位置、颜色），并生成包含完整多模态信号（如视觉、本体感知、掩码标签）的高保真轨迹，同时保留部分根节点作为负样本以覆盖规划失败的边界情况。此外，确保数据集的存储格式（原生HDF5而非压缩表格）能够无损保留帧对齐的图像、掩码和物理交互标签，为离线监督与评估提供可信基础。

常用场景

经典使用场景

AdaRoute数据集专为动作条件世界模型（Action-Conditioned World Model, AC-WM）的训练与评估而设计，其核心价值在于提供包含障碍物干预的机器人操作轨迹。该数据集通过精心设计的匹配分支结构，在同一任务状态下同时记录无障碍策略、直接障碍策略以及多种运动规划器桥接策略的完整执行数据。研究人员可利用这些数据训练能够预测机器人动作后果的世界模型，特别关注在动态环境中如何通过规划与策略的无缝衔接来规避障碍物。经典使用范式涵盖动作跟随评估、物理交互建模、碰撞预测以及策略-规划器切换决策研究，为开发更鲁棒的具身智能体提供了标准化的训练与测试平台。

衍生相关工作

AdaRoute数据集的出现催生了一系列重要的后续研究工作。一方面，它激发了针对动作条件世界模型的新型网络架构设计，例如能够融合多源观测（RGB图像、本体感知、任务指令）与规划器候选路径的分层混合模型，用于提升碰撞预测的准确性。另一方面，该数据集促进了策略-规划器协同决策算法的研究，衍生出基于价值函数的切换时机确定方法以及动态规划路径评分策略。在机器人运动规划领域，研究者利用该数据集基准测试了多种规划器（如RRT*、PRM）与预训练策略的兼容性，推动了规划器端点选择策略的优化。此外，该数据集还被用于开发半监督学习框架，通过利用无标签的规划桥接数据来增强策略在未见障碍物配置下的泛化能力。

数据集最近研究

最新研究方向

AdaRoute数据集聚焦于具身智能领域中动作条件世界模型与运动规划的前沿交叉研究，通过引入障碍物干预匹配方法，系统性地探索了机器人策略在未知障碍环境下的动态失败模式与规划-策略衔接机制。该数据集围绕LIBERO-10任务场景，构建了包含清洁策略、障碍策略及多类型规划器桥接分支的配对轨迹，为研究基于规划器与策略切换的抗干扰操作提供了结构化数据支持。其核心贡献在于揭示了固定策略在障碍场景下产生“卡死”等典型失效行为的分布特征，并量化了不同路径规划策略（如最短路径、高净空路径）对后续策略执行的恢复效应。这一资源正推动机器人操作领域从单纯策略学习向策略-规划协同的抗扰动范式演进，为构建具身智能体在非结构化环境中的鲁棒运动能力奠定了关键数据基础。