DAVIAN-Robotics/RoboLab-BananaInBowl-30cm-relrate-k1c0-stoch-gripbin-260716

该数据集使用LeRobot创建。RoboLab（Isaac Lab）BananaInBowl @30cm数据集，包含来自RFCL x RoboLab RL策略的rollouts，已转换为LeRobot v3.0格式，适用于pi0.5（pi05）SFT。来源：策略为“relrate k1-c0”（速率限制的相对关节动作；每轴上限 = 演示p99(|delta|) x 1.0），检查点为“libs/FlashSAC/models/relrate/banana-30cm-relrate-k1-c0-s0/BananaInBowl/seed0-0710-190022”。采样方式为随机。动作空间记录为绝对关节目标（droid框架，j7偏移 -pi/4）；策略是相对的，但收集器记录应用的目标clamp(joint_pos + delta, qmin, qmax)，因此数据集遵循与其他部署集相同的绝对目标约定。夹爪状态为二进制{0,1}（1表示关闭），环境中的夹爪项是二进制的（阈值），因此中间值从未物理实现；记录它们是标注伪影。此数据集是“...-relrate-k1c0-stoch-260711”的修正重新发布（相同的帧/视频；仅夹爪列及其统计信息更改）。成功条件：K-hold settle，success_hold_steps=15，成功作为截断。初始化随机化：30cm。相机配置：over_shoulder_left_camera（外部）和wrist_cam。对于pi05 SFT，这些映射到base_0_rgb / left_wrist_0_rgb；省略的右腕由LeRobot零填充和掩码。统计信息包括q01/q99（pi05分位数归一化所需）。视频为CFR归一化。This dataset was created using LeRobot. RoboLab (Isaac Lab) BananaInBowl @30cm — rollouts from an RFCL x RoboLab RL policy, converted to LeRobot v3.0 for pi0.5 (pi05) SFT. Provenance: Policy: `relrate k1-c0` (rate-limited relative joint action; per-axis cap = demo p99(|delta|) x 1.0). Checkpoint: `libs/FlashSAC/models/relrate/banana-30cm-relrate-k1-c0-s0/BananaInBowl/seed0-0710-190022`. Sampling: stoch. Action space as recorded: ABSOLUTE joint targets (droid frame, j7 offset -pi/4). The policy is relative, but the collector records the applied target `clamp(joint_pos + delta, qmin, qmax)`, so the dataset follows the same absolute-target convention as every other deployed set. Gripper: binary {0,1} (1 = close). The environments gripper term is binary (threshold), so intermediate values were never physically realized; recording them was a labeling artifact. This set is the corrected re-release of `...-relrate-k1c0-stoch-260711` (identical frames/videos; only the gripper column and its stats changed). Success: K-hold settle, `success_hold_steps=15`, success-as-truncation. Init randomization: 30cm. Cameras: `over_shoulder_left_camera` (exterior) + `wrist_cam`. For pi05 SFT these map to `base_0_rgb` / `left_wrist_0_rgb`; the omitted right wrist is zero-padded and masked by LeRobot. Stats include `q01`/`q99` (required by pi05 quantile normalization). Videos are CFR-normalized.

搜集汇总

数据集介绍

构建方式

该数据集源自RoboLab（Isaac Lab）模拟环境中香蕉入碗任务的强化学习策略rollout。策略采用速率受限的相对关节动作（relrate k1-c0），通过FlashSAC算法训练，并运用随机采样（stoch）生成轨迹。收集器记录的是经过钳位处理后的绝对关节目标值，而非原始相对增量，确保了数据格式与广泛使用的绝对目标惯例一致。夹爪动作被量化为二进制{0,1}，剔除了物理上未实现的中间值伪影。数据集遵循LeRobot v3.0标准，以parquet格式存储结构化数据，视频则采用MP4格式，便于兼容主流机器人学习框架。

特点

本数据集总计包含5916个成功片段，共387310帧，任务单一且聚焦于精度要求高的30厘米初始距离场景。其核心特征在于动作空间与状态空间均为8维向量，分别代表7个关节位置与1个二进制夹爪指令。摄像头配置为双视角：左肩外置相机与腕部相机，专为pi0.5（pi05）微调设计，可映射为标准RGB输入。统计信息中包含了分位数归一化所需的q01和q99，视频经过CFR归一化处理，强化了数据的鲁棒性与可复现性。

使用方法

用户可直接通过LeRobot数据集可视化工具在线浏览与交互，或调用LeRobot库加载数据进行下游任务。加载时，观测数据包含状态、速度及双摄像头图像，动作数据为绝对关节目标。数据集默认划分为单一训练集，可配合LeRobot的dataloader进行批量化处理。对于pi0.5模型微调，需注意右腕相机通道将被零填充并由库自动掩码。此外，提供的info.json文件详细描述了特征名称、形状、数据类型及视频编码参数，便于精确解析与使用。

背景与挑战

背景概述

该数据集创建于2026年7月，由RoboLab团队与DAVIAN-Robotics机构联合发布，旨在为机器人操作领域的模仿学习与行为克隆提供高质量的基准数据。核心研究问题聚焦于如何通过强化学习策略生成的轨迹数据，提升机器人对精细操作任务（如将香蕉放入碗中）的泛化能力与成功率。数据集基于Isaac Lab仿真环境，采用相对速率限制的关节动作策略，在30厘米随机初始位置下采集了5916个回合、共计38.7万帧的高频轨迹，包括肩部与腕部双视角视觉观测及8维动作状态信息。该数据集已被集成至LeRobot v3.0框架，专为pi0.5模型的监督微调设计，其规范化的数据格式与分位归一化统计显著降低了迁移门槛，对致力于视觉-动作联合建模的机器人学习社区具有重要参考价值。

当前挑战

数据集所解决的领域挑战在于，机器人操作任务中原始策略输出与可复现演示之间存在动作空间不匹配问题——本数据通过记录绝对关节目标并验证其与相对指令的转换关系，消除了中间变量引起的歧义。构建过程中的主要挑战包括：一、夹爪动作初始为连续值，因环境仅实现二值化阈值而成为标注伪影，需重新发布修正版以匹配物理实际；二、多视角视觉数据（如右腕相机缺失）需通过零填充与掩码处理适配pi0.5的输入要求，增加了数据结构设计的复杂性；三、高帧率（15 FPS）下5916个回合的大规模视频存储需采用CFR归一化与高效编解码（avc1）以平衡质量与空间开销，确保训练数据的可访问性。

常用场景

经典使用场景

RoboLab-BananaInBowl-30cm-relrate-k1c0-stoch-gripbin-260716数据集是机器人灵巧操作领域中的一项重要资源，专为训练和评估基于视觉的强化学习策略而设计。其经典应用场景聚焦于“香蕉入碗”这一精细操作任务，要求机械臂从30厘米的初始距离出发，通过肩部相机和腕部相机的视觉反馈，将香蕉准确放置于碗中。该数据集以15帧/秒的高频采集了超过5900个成功回合，包含约39万帧的动作、状态、速度及双视角视频数据，为模仿学习、行为克隆及基于扩散策略的机器人控制提供了高质量的示范样本。动作空间采用绝对关节目标值，夹爪为二元控制，确保了数据的一致性和可复现性。

衍生相关工作

该数据集衍生了一系列关于机器人操作策略与数据表示的前沿工作。基于其提供的相对动作轨迹，研究者提出了多阶段率限制的迁移学习框架，将仿真中的最优策略适配至真实机器人系统。数据集的双目视觉与状态信息还被用于训练多模态融合模型，例如结合视觉与触觉预测的对抗性训练方法。在基础模型层面，该数据集成为pi0.5系列视觉-语言-动作模型微调（SFT）的关键基准，推动了从通用语言理解到具体操作执行的端到端学习。此外，数据集的轨迹结构启发了个性化轨迹分割与数据增强技术，如时间对比学习与随机化动作掩码，进一步提升了策略在复杂环境中的鲁棒性。

数据集最近研究

最新研究方向

在机器人操作领域，该数据集聚焦于基于强化学习策略的精细拾取与放置任务，具体涉及香蕉放入碗中的高精度操作。前沿研究方向包括利用相对动作空间与绝对目标记录的转换机制，结合随机采样策略，提升策略的鲁棒性与泛化能力。该数据集通过修正夹爪二值化标注，解决了物理实现与数据记录之间的不一致问题，为多模态感知（如肩部与腕部摄像头融合）和量化归一化（如q01/q99统计）提供了标准化基准。其与LeRobot v3.0和pi0.5模型的集成，推动了机器人学习从模拟到现实迁移的研究，对实现更复杂、更可靠的灵巧操作具有重要参考价值。