DAVIAN-Robotics/RoboLab-BananaInBowl-30cm-relrate-k1c0-det-260711

该数据集已过时，建议使用替代数据集RoboLab-BananaInBowl-30cm-relrate-k1c0-det-gripbin-260716。它记录了夹爪为连续值，但实际环境是二进制的，导致约96%的夹爪标签落在中值范围，与动作先验分布不匹配。数据集来自RoboLab (Isaac Lab) BananaInBowl @30cm任务，通过RFCL x RoboLab RL策略生成rollouts，并转换为LeRobot v3.0格式用于pi0.5 SFT。策略使用relrate k1-c0（速率限制的相对关节动作），采样为确定性方式。动作空间记录为绝对关节目标（基于droid帧，j7偏移-pi/4），夹爪为连续值[0,1]。成功标准基于K-hold settle（success_hold_steps=15），初始化随机化距离为30cm。相机包括over_shoulder_left_camera（外部）和wrist_cam。统计数据包含q01/q99，视频为CFR标准化。This dataset is superseded; use RoboLab-BananaInBowl-30cm-relrate-k1c0-det-gripbin-260716 instead. It records the gripper as a continuous value, but the environments gripper term is binary, leading to ~96% of gripper labels in the mid-range, which is out-of-distribution for the action prior. The dataset is from RoboLab (Isaac Lab) BananaInBowl @30cm — rollouts from an RFCL x RoboLab RL policy, converted to LeRobot v3.0 for pi0.5 SFT. Policy: relrate k1-c0 (rate-limited relative joint action). Sampling: deterministic. Action space as recorded: absolute joint targets (droid frame, j7 offset -pi/4). Gripper: continuous [0,1]. Success: K-hold settle, success_hold_steps=15, success-as-truncation. Init randomization: 30cm. Cameras: over_shoulder_left_camera (exterior) + wrist_cam. Stats include q01/q99. Videos are CFR-normalized.

搜集汇总

数据集介绍

构建方式

该数据集源自RoboLab（Isaac Lab）仿真环境中进行的香蕉入碗操作任务，由一只基于RFCL与RoboLab联合训练的RL策略控制机械臂，在距碗30厘米的初始随机位置下执行抓取与放置动作，并成功以15帧/秒的采样频率记录运行数据。数据收集器记录了施用的绝对关节目标位姿，而非策略输出的相对增量，确保了动作列与标准绝对目标约定的兼容性。数据集基于LeRobot v3.0规范构建，包含5950个episode，共计375812帧，所有视频均经过CFR归一化处理。

特点

数据集的一个显著特点是其动作空间虽记录为绝对关节目标，但其底层策略实则采用了速率受限的相对关节控制范式，每个轴的最大变化量对应于演示数据的99分位绝对差。采集过程中使用了肩上方外部摄像头与腕部摄像头双视角视觉输入。然而该数据集已被标注为弃用，原因在于其夹爪值记录为连续量[0,1]，而仿真环境的夹爪执行本质为二值化阈值控制，导致约96%的夹爪标签处于中间范围，与pi0.5预训练动作先验分布严重不符，替换数据集已修正此问题。

使用方法

用户可通过LeRobot提供的可视化工具直接在HuggingFace空间上预览数据集中的任意episode。在代码中，可使用LeRobot库的dataset加载接口读取parquet数据文件与mp4视频文件，通过'observation.state'获取8维关节状态向量，通过'action'获取8维动作向量（前7维为关节目标，第8维为已弃用的夹爪连续值），并通过'observation.images.over_shoulder_left_camera'和'observation.images.wrist_cam'分别获取两个视角的视频数据。建议优先使用替代数据集以避免因夹爪标签分布偏移导致的训练问题。

背景与挑战

背景概述

该数据集由RoboLab团队于2025年7月创建，隶属于DAVIAN-Robotics项目，旨在为机器人操作任务提供高质量的演示数据。其核心研究问题在于通过强化学习策略生成大规模、标准化的“香蕉入碗”操作轨迹，以支持基于LeRobot框架的模仿学习与微调。数据集由基于相对动作的RFCL x RoboLab RL策略在30厘米初始化范围内采集，包含5950个片段、375812帧，并配有肩部和腕部双视角视频。该资源为pi0.5等轻量级策略的机器人操作能力提升提供了基准训练素材，推动了仿真到现实迁移的研究进程。

当前挑战

该数据集面临的核心挑战包括：领域层面，机器人操作中的精细抓取与放置任务要求策略具备高精度和鲁棒性，而仿真环境与真实世界的物理差异（如摩擦力、物体形变）常导致策略迁移失败。构建过程中，数据集遭遇了标注伪影问题——夹持器本应为二值状态（开/关），但因记录连续值导致约96%的标签处于中间范围，与实际物理执行不符，造成动作分布漂移。此外，相对动作策略在转换为绝对目标记录时需额外验证逻辑，增加数据处理复杂度。最终，团队通过发布替代版本修正了夹持器列，体现了数据质量控制的重要性。

常用场景

经典使用场景

在机器人操作领域，精细操作任务的数据驱动学习是近年来的研究热点。RoboLab-BananaInBowl-30cm-relrate-k1c0-det-260711数据集专为模仿学习和强化学习中的策略微调（如pi0.5 SFT）而设计，其核心应用场景为从演示中学习灵巧抓取与放置操作。该数据集收录了近6000个机器人将香蕉放入碗中的仿真rollout轨迹，每个轨迹包含8维关节空间动作与状态序列、腕部及肩部视觉输入，为端到端策略训练提供了高质量的监督信号。特别是其采用相对速率限制的动作空间记录方式，使得数据集适用于训练鲁棒的、对执行噪声不敏感的控制策略。

衍生相关工作

该数据集直接衍生了RoboLab-BananaInBowl-30cm-relrate-k1c0-det-gripbin-260716等修正版本，专门纠正了抓取器连续标签的标注伪影。这种迭代式的数据集演化工作，促进了机器人领域对动作标注规范化的讨论。此外，基于该数据集训练的pi0.5策略已在多个共享控制基准中作为对比方法出现，其采用的相对速率限制策略（rate-limited relative joint action）已被后续工作借鉴用于解决机器人运动平滑性问题。数据集采用的LeRobot v3.0格式也为社区提供了跨平台数据复用的范例。

数据集最近研究

最新研究方向

该数据集来源于RoboLab在Isaac Lab仿真环境中利用强化学习策略（RFCL x RoboLab RL）执行“香蕉入碗”精细化操作任务的轨迹数据转换而成，专为pi0.5（pi05）微调（SFT）而设计。当前机器人操作领域的前沿研究正聚焦于如何高效地将仿真中习得的相对动作策略映射至绝对关节目标空间，并解决夹爪持续控制值与物理二值门限之间的分布偏移问题。该数据集记录了基于速率限制的相对关节动作（relrate k1-c0），以确定性采样方式收集了5950个片段、超过37万帧的高频视觉与状态数据，涵盖肩部上方与腕部双视角图像，为后续探究连续动作标注伪影对策略泛化能力的影响提供了关键对照样本。其已被更精确的修正版本（RoboLab-BananaInBowl-30cm-relrate-k1c0-det-gripbin-260716）取代，这一迭代过程本身即是机器人数据集质量提升与标注规范化的重要实践，对推动基于HuggingFace LeRobot生态的仿真到真实迁移研究具有标志性意义。