DAVIAN-Robotics/RoboLab-BananaInBowl-30cm-relrate-k1c0-det-gripbin-260716

该数据集使用LeRobot创建，包含RoboLab（Isaac Lab）BananaInBowl @30cm任务的轨迹数据，这些数据来自RFCL x RoboLab强化学习策略，并已转换为LeRobot v3.0格式，适用于pi0.5（pi05）监督微调（SFT）。具体细节包括：策略为relrate k1-c0（速率限制的相对关节动作；每轴上限=演示数据p99(|delta|) x 1.0），采样方式为确定性采样，动作空间记录为绝对关节目标（droid坐标系，j7偏移为-pi/4），夹爪状态为二进制{0,1}（1表示闭合）。成功定义为K-hold稳定条件（success_hold_steps=15），初始化随机化距离为30cm。相机配置包括over_shoulder_left_camera（外部）和wrist_cam，在pi05 SFT中分别映射到base_0_rgb和left_wrist_0_rgb。统计信息包含q01/q99分位数（用于pi05分位数归一化），视频为CFR归一化。This dataset was created using LeRobot. RoboLab (Isaac Lab) BananaInBowl @30cm — rollouts from an RFCL x RoboLab RL policy, converted to LeRobot v3.0 for pi0.5 (pi05) SFT. Provenance: Policy: relrate k1-c0 (rate-limited relative joint action; per-axis cap = demo p99(|delta|) x 1.0). Sampling: det. Action space as recorded: ABSOLUTE joint targets (droid frame, j7 offset -pi/4). Gripper: binary {0,1} (1 = close). Success: K-hold settle, success_hold_steps=15, success-as-truncation. Init randomization: 30cm. Cameras: over_shoulder_left_camera (exterior) + wrist_cam. For pi05 SFT these map to base_0_rgb / left_wrist_0_rgb. Stats include q01/q99 (required by pi05 quantile normalization). Videos are CFR-normalized.

搜集汇总

数据集介绍

构建方式

该数据集基于RoboLab（Isaac Lab）仿真环境中的“香蕉入碗”任务构建，策略来源为RFCL x RoboLab强化学习策略，采用受限相对关节速率控制（relrate k1-c0）。在30厘米的初始随机距离下，通过确定性采样（det）收集了5950个成功回合，总计375812帧。数据记录过程中，策略虽输出相对动作，但采集器存储的是经限幅后的绝对关节目标值（含-π/4补偿的第七关节偏移），并采用二值夹爪控制（1为闭合），经修正后剔除了此前版本中不存在的中间值伪影。数据集遵循LeRobot v3.0格式，适用于pi0.5模型的监督微调。

特点

数据集包含超过三十七万帧的高质量机器人操作数据，以15帧每秒的速率同步记录了两个视角的视觉信息（肩部左相机与腕部相机），其中右腕相机通过零填充与掩码机制适配pi0.5的输入规范。动作空间维度为8，涵盖七个关节位置与一个二值化夹爪指令，状态空间同步包含关节位置与速度。统计信息中提供了q01/q99分位数，满足pi0.5进行量化归一化的需求，视频文件采用恒定帧率归一化处理。总计5950个成功回合，全部划归训练集，便于直接用于策略学习。

使用方法

该数据集可通过LeRobot框架直接加载与使用，用户可在HuggingFace数据集的详情页通过在线可视化工具预览指定回合的轨迹数据。加载时需指定数据集配置名为'default'，数据以Parquet格式存储于data目录下，视频文件则以MP4格式按视角分别存放于videos目录，自动与对应的状态动作帧对齐。在pi0.5或兼容LeRobot v3.0的模型中，数据集可被直接用于策略的监督微调，其中动作空间视为绝对关节目标值，与多数已部署数据集保持一致。用户亦可参考LeRobot官方文档调整数据切分与预处理流程。

背景与挑战

背景概述

该数据集由DAVIAN-Robotics团队与RoboLab（Isaac Lab）协作创建，于2026年7月发布，旨在为机器人操作领域提供高质量的强化学习策略演示数据。核心研究问题聚焦于如何在仿真环境中通过相对速率限制的关节动作策略，实现‘将香蕉放入碗中’的精细操作任务，并通过绝对目标动作记录的方式，弥合仿真策略与真实部署之间的数据鸿沟。数据集包含5950个片段、超过37万帧，涵盖肩部与腕部相机视角，并采用LeRobot v3.0格式标准化，为pi0.5模型的有监督微调提供了坚实基础。其对机器人学习社区的影响力体现在：不仅验证了相对动作策略在操作任务中的可行性，还通过纠正夹具标注等细节，树立了高质量数据集构建的标杆。

当前挑战

该数据集旨在解决的领域问题包括机器人精细操作中的动作表示一致性挑战——相对策略与绝对记录之间的转换可能导致训练偏差；以及仿真到现实迁移中的多视角融合难题，尤其是缺失右腕相机时的零填充处理。构建过程中遇到的挑战有：夹具动作的二元化处理，原始数据中中间值实为标注伪影，需重新发布修正版本；同时需设计可靠的速率限制机制（基于演示数据百分位数），确保动作不超过物理关节限位；此外，大规模视频与Parquet文件的高效存储（100MB元数据+200MB视频）以及满足pi0.5分位数归一化的统计量计算，亦构成了工程实现的难点。

常用场景

经典使用场景

在机器人操作领域，RoboLab-BananaInBowl-30cm-relrate-k1c0-det-gripbin-260716数据集为模仿学习与强化学习提供了宝贵的训练资源。该数据集收录了近6000条机械臂将香蕉放入碗中的操作轨迹，涵盖了从关节位置、速度到视觉图像的完整观测信息，尤其适用于训练基于视觉与状态输入的策略网络。其采用每秒15帧的高频采样，并配备了经过CFR标准化的视频数据，使得研究者能够以端到端的方式学习精细的抓取与放置技能，成为验证机器人操作算法性能的标准基准之一。

衍生相关工作

围绕该数据集已衍生出多项开创性工作，包括基于LeRobot框架的pi0.5策略微调流程、FlashSAC强化学习算法的开源实现，以及针对相对动作与绝对动作表征差异的矫正技术。这些工作不仅揭示了速率限制系数（relrate）与任务成功率的潜在关联，还催生了关于二值夹爪标签标注伪影的标准化清洗方法，为后续数据集的构建与评测设立了关键范例。此外，其与pi05量化归一化策略的结合，启发了跨数据集迁移学习的多项后续研究，推动了机器人数据集生态的规范化与互操作性发展。

数据集最近研究

最新研究方向

该数据集聚焦于基于强化学习的机械臂抓取操作任务，特别针对“将香蕉放入碗中”这一精细化场景，结合了相对速率限制与绝对关节目标动作空间的设计理念。在当前机器人操作领域的前沿研究中，该数据集为预训练视觉-语言-动作基础模型（如pi0.5）的监督微调（SFT）提供了高质量轨迹数据，其采用的分位数归一化策略与二进制夹爪控制修正，显著提升了数据在真实物理环境中的适用性。结合NVIDIA Isaac Lab仿真平台与LeRobot数据标准，该工作推动了具身智能体从仿真到现实迁移的标准化进程，对于探索低成本、高泛化性的机器人技能学习范式具有重要实践意义。