behavior-1k-mp-collected-turning-on-radio

BEHAVIOR-1K MP-Collected数据集是一个针对BEHAVIOR-1K任务0（turning_on_radio）的组合数据集，专用于机器人行为学习研究。它整合了来自两个来源的演示数据：一是通过混合运动规划器与X-VLA策略管道在私有测试集（实例301-700）上收集的1154个成功演示和846个失败演示；二是从原始BEHAVIOR-1K遥操作数据集中合并的200个成功演示。总计包含1354个成功演示和846个失败演示，共2200个episodes，数据量约157GB。数据集采用BEHAVIOR-1K标准布局组织，包含parquet文件（存储简化的观测/动作数据）、json文件（提供技能和原语标注）、hdf5文件（包含原始OmniGibson轨迹），以及多个视角的RGB和深度视频文件（包括头部、左右手腕和外部视角）。所有episodes都包含parquet文件和标注文件，而元数据、原始轨迹、深度视频和外部视角RGB视频仅覆盖MP-collected的2000个episodes。每个演示都按照HF挑战模式进行标注，包含4种技能（move to、pick up from、press、place on）和3种原语。该数据集适用于机器人模仿学习、策略学习、技能识别等研究任务。

The BEHAVIOR-1K MP-Collected dataset is a combined dataset for BEHAVIOR-1K Task 0 (turning_on_radio), specifically designed for robotic behavior learning research. It includes demonstration data from two sources: 1154 successful and 846 failed demonstrations collected via a mixed motion planner and X-VLA policy pipeline on instances 301-700 (private test set, 400 instances × 5 episodes), and 200 successful demonstrations merged from the original BEHAVIOR-1K teleoperation dataset. In total, it contains 1354 successful and 846 failed demonstrations, amounting to 2200 episodes and approximately 157GB of data. The dataset is organized in the BEHAVIOR-1K standard layout, featuring various data formats: parquet files for simplified observation/action data, json files for skill and primitive annotations, hdf5 files for raw OmniGibson trajectories, and multi-view RGB and depth videos (including head, left/right wrist, and external views). All 2200 episodes include parquet and annotation files, while metadata, raw trajectories, depth videos, and external-view RGB videos cover only the MP-collected 2000 episodes. Each demonstration is annotated following the HF challenge mode, with 4 skills (move to, pick up from, press, place on) and 3 primitives. The dataset is suitable for research tasks such as robotic imitation learning, policy learning, and skill recognition.

原始信息汇总

数据集概述

数据集名称: BEHAVIOR-1K MP-Collected — turning_on_radio
许可证: MIT
任务类型: 机器人学 (robotics)
标签: behavior-1k, robotics, omnigibson, r1pro
数据规模: 1K < n < 10K

数据内容

该数据集专注于 BEHAVIOR-1K 中的任务 0（turning_on_radio，即打开收音机），共计 2200 个片段（约 157 GB），其中：

• 成功演示: 1354 个
• 失败演示: 846 个

数据来源

来源	说明	数量
原始 BEHAVIOR-1K 远程操作数据集	实例 1–300，每个实例的 episode 0	200 个成功演示
混合运动规划器 + X-VLA 策略流水线采集	实例 301–700（私有测试集，400 个实例 × 5 个 episode）	1154 个成功演示 + 846 个失败演示

目录结构

数据集遵循 BEHAVIOR-1K 标准布局，主要分为 success/ 和 failure/ 两个文件夹：

成功演示（success/2025-challenge-demos/） 包含：

• data/task-0000/episode_XXXXXXXX.parquet — 简化的观察/动作数据
• annotations/task-0000/episode_XXXXXXXX.json — 技能与基元标注
• meta/episodes/task-0000/episode_XXXXXXXX.json — 每个片段元数据（仅运动规划采集部分）
• meta/episodes/task-0000/episode_XXXXXXXX_bddl_transitions.json
• trajectories/task-0000/episode_XXXXXXXX.hdf5 — 原始 OmniGibson 轨迹（仅运动规划采集部分）
• videos/task-0000/ 下包含多种视角的视频文件（RGB 和深度）

失败演示（failure/2025-challenge-demos/） 结构与成功演示相同，仅包含运动规划采集的失败数据。

各工件覆盖范围

数据类型	覆盖范围
parquet 文件、标注文件	全部 2200 个片段
元数据、BDDL 转换、HDF5 轨迹、深度视频、外部 RGB 视频	仅运动规划采集的 2000 个片段
头部 RGB 视频、左腕 RGB 视频、右腕 RGB 视频	全部 2200 个片段

技能标注

每个 annotations/.../episode_XXXXXXXX.json 文件遵循 BEHAVIOR-1K 挑战模式，包含 4 个技能：

1. 移动到（move to）
2. 从……拿起（pick up from）
3. 按下（press）
4. 放在……上（place on）

以及 3 个基元。对于运动规划采集的演示，技能边界由编排器每次动作的进入/退出步骤编号推导得出。

演示 ID 范围

来源	演示 ID 范围	数量
原始 HF（实例 1–300，episode 0）	10..3000（步长 10）	200
运动规划采集（实例 301–700，episode 0–4）	3010..7004	1154 成功 + 846 失败

搜集汇总

数据集介绍

构建方式

该数据集针对BEHAVIOR-1K基准任务“开启收音机”构建，融合了两种采集途径的数据。其中，200条成功演示源自原始BEHAVIOR-1K远程操作数据集，覆盖实例1至300的单一回合；另外1154条成功演示和846条失败演示则通过混合运动规划器与X-VLA策略流水线在实例301至700上自动收集，每个实例执行5个回合。最终数据集包含总计2200个回合，约157GB的丰富数据。

使用方法

用户可通过Hugging Face CLI工具直接下载数据集，命令为`huggingface-cli download Hoshipu/behavior-1k-mp-collected-turning-on-radio --repo-type=dataset --local-dir ./behavior-1k-mp-collected`。也可在Python脚本中使用`snapshot_download`函数实现相同功能。下载后文件按BEHAVIOR-1K标准布局存放，无需额外解压即可直接用于模型训练与评估。

背景与挑战

背景概述

BEHAVIOR-1K是斯坦福大学与英伟达研究团队于2023年联合提出的机器人具身智能基准，旨在推动机器人在复杂长时域任务中的泛化能力。turning_on_radio任务作为该基准的核心场景之一，聚焦于模拟家庭环境中“打开收音机”这一日常操作。本研究团队在此基础上构建了behavior-1k-mp-collected-turning-on-radio数据集，其创新性地融合了运动规划器与X-VLA策略混合采集的2000条演示数据，以及原始远程操作数据集中的200条成功样本，总计2200条轨迹。该数据集通过多视角RGB-D视频、深度图像及技能标注等丰富模态，为研究机器人在非可控环境中的操作失败模式与鲁棒性学习提供了关键资源，对推动机器人学习从实验室走向真实家庭场景具有重要价值。

当前挑战

该数据集面临的挑战首先源自领域问题：turning_on_radio任务要求机器人处理可变形物体（如旋钮）、感知旋钮状态并执行精准的按压与旋转动作，在400个私有测试实例中，物体几何、光照及遮挡条件的剧烈变化导致传统方法泛化困难。其次，构建过程中面临显著挑战：混合采集方案需协调运动规划器与X-VLA策略的输出，以保证轨迹连续性与技能边界的准确标注；同时，约半数演示为失败轨迹，如何从失败中提取有用信息并避免强化学习中的负迁移成为关键；此外，数据集规模虽达2200条，但相比于复杂操作空间的维度仍显稀疏，对模型的数据效率提出了更高要求。

常用场景

经典使用场景

在机器人操作领域，behavior-1k-mp-collected-turning-on-radio数据集最为经典的使用场景是作为模仿学习的训练与基准测试平台。研究人员可利用其中涵盖的1354条成功演示与846条失败演示，训练机器人从高维视觉和深度输入中学习开启收音机的精细操作策略。该数据集提供的多模态数据，包括RGB图像、深度图、动作序列及技能标注，使得基于行为克隆或分层强化学习的方法能够在复杂日常任务上进行验证与比较，尤其适用于评估算法在成功率波动大、环境多变的家庭场景中的鲁棒性。

解决学术问题

该数据集精准地回应了机器人学习领域中两个核心学术挑战：一是如何在缺乏大量真实世界交互数据的情况下，学习具备泛化能力的复杂长时域操作技能；二是如何利用失败演示来挖掘决策边界，提升策略的安全性与自愈能力。通过整合混合运动规划器与X-VLA策略管线收集的失败样本，数据集为探索基于对抗学习、逆强化学习或安全模仿学习等范式提供了宝贵素材，推动了关于失败案例如何辅助策略纠错与任务分解的学术讨论。其影响在于促进了从简单运动复现向结构化推理与错误鲁棒性研究的范式转变。

实际应用

在居家服务与辅助技术等实际场景中，该数据集可作为开发家庭智能机器人交互能力的基础。基于该数据集训练的模型，有望被部署于养老辅助、智能家居控制或残障人士护理机器人中，使机器人能够可靠地完成类似‘开启收音机’这样的日常细粒度操作。由于数据采集环境基于高保真模拟器OmniGibson，其视觉与动力学分布的多样性有助于缩小仿真到现实的迁移鸿沟，从而加速面向真实家庭环境的低成本、安全型机器人操作方案的落地。

数据集最近研究

最新研究方向

该数据集聚焦于机器人操作领域中开放世界任务的学习与泛化能力，尤其是通过融合运动规划与策略学习的方法来提升操作的成功率与鲁棒性。结合BEHAVIOR-1K挑战赛的宏大规模，turning_on_radio任务的数据集不仅收录了成功与失败演示，还提供了多模态感知数据（RGB、深度、手腕视角）及细粒度的技能注释，为研究基于演示的机器人学习、失败案例的逆向分析以及跨实例泛化提供了坚实支撑。前沿方向包括利用大规模异构数据训练基础操作模型、探索失败演示在强化学习中的价值，以及借助模拟环境OmniGibson实现从仿真到现实的知识迁移，对推动通用机器人智能体的发展具有重要里程碑意义。