DAVIAN-Robotics/RoboLab-BananaInBowl-30cm-k15dwell-stoch-260709

该数据集是RoboLab（Isaac Lab）操作数据集，由RFCL x RoboLab RL策略rollouts转换而来，适用于LeRobot v3.0的pi0.5（pi05）SFT。包含5229个episodes和164914帧。摄像头包括over_shoulder_left_camera和wrist_cam（分辨率480x270）。动作维度为8维，包括7个关节目标（droid-frame）和夹爪状态（0或1）；观察状态（observation.state）同样为8维，遵循droid_v3/pi05兼容规范。数据处理流程包括解耦状态收集、传送回放渲染（使用DLSS Quality）和LeRobot v3.0转换。RoboLab (Isaac Lab) manipulation dataset — RFCL x RoboLab RL-policy rollouts converted to LeRobot v3.0 for pi0.5 (pi05) SFT. 5229 episodes / 164914 frames. cameras: over_shoulder_left_camera, wrist_cam (480x270); action (8): droid-frame joint targets (7) + gripper [0,1]; observation.state (8) follows the same convention (droid_v3 / pi05 compatible); pipeline: decoupled state collection -> teleport-replay render (DLSS Quality) -> LeRobot v3.0.

搜集汇总

数据集介绍

构建方式

在机器人操控领域，高质量的数据集是驱动策略学习与泛化的关键基石。RoboLab-BananaInBowl-30cm-k15dwell-stoch-260709数据集由Davían Robotics团队基于LeRobot框架构建，旨在为pi0.5（pi05）模型提供监督微调（SFT）训练数据。该数据集源自Isaac Lab模拟环境中的RL策略滚转（rollouts），经过解耦的状态采集、DLSS质量的传送-重放渲染管线，最终转换为LeRobot v3.0格式。数据集包含5229条演示片段，共计164914帧，动作空间为8维，包括7个关节目标与1个夹爪控制信号（归一化至[0,1]），观测状态与动作空间保持一致，兼容droid_v3/pi05规范。数据来源为RoboLab的RFCL x RoboLab协作项目，确保了策略数据的多样性与物理合理性。

特点

该数据集的核心特点在于其高保真度与标准化设计。视觉观测源自两个摄像头：肩部左上方摄像头与腕部摄像头，分辨率均为480x270，以15fps的帧率记录，使用avc1编码压缩为视频格式，兼顾了存储效率与视觉细节。动作与状态信息以8维浮点向量形式存储，分别对应关节编号与夹爪，便于直接嵌入机器人控制框架。此外，数据集提供了速度观测（observation.velocity）作为辅助特征，增强了动态建模能力。单一任务设定（将香蕉放入碗中）聚焦于精准操控，而训练集覆盖全部5229条片段，无额外拆分，适合端到端学习。总数据量约300MB（含视频），兼顾了规模与可访问性。

使用方法

使用该数据集时，推荐通过LeRobot库进行加载与预处理，以充分利用其标准化的API接口。用户可通过HuggingFace提供的可视化工具（位于LeRobot数据集可视化空间）直观浏览片段与动作序列，便于快速评估数据质量。数据以Parquet格式存储动作与状态，视频文件独立存放，可通过LeRobot的Dataset类轻松迭代。在训练pi0.5模型时，需将8维动作与状态向量对齐至模型输入规格，并利用15fps的时序信息进行策略学习。建议将数据集直接集成至LeRobot的训练管线中，或自定义加载器读取parquet与mp4文件，以适配特定的模仿学习或强化学习算法框架。

背景与挑战

背景概述

在具身智能与机器人操作领域，大规模、高质量的数据集是驱动模仿学习与强化学习算法突破的关键基石。RoboLab-BananaInBowl-30cm-k15dwell-stoch-260709数据集由DAVIAN-Robotics团队于近期创建，依托于RoboLab（Isaac Lab）仿真平台，旨在为pi0.5（pi05）模型提供微调所需的操作轨迹数据。该数据集聚焦于将香蕉放入碗中的单一精细化操作任务，共包含5229个片段与164914帧，通过解耦状态采集与DLSS质量渲染管线生成，并转换为LeRobot v3.0标准格式。其动作空间采用与droid_v3/pi05兼容的8维关节目标加夹爪指令，观测则来自肩部与腕部双摄像头（480x270分辨率），为研究高精度、随机化条件下的机械臂操作提供了标准化基准。该数据集的出现，填补了仿真到现实迁移中精细操作任务数据稀缺的空白，对推动机器人操作基础模型的训练与评估具有重要价值。

当前挑战

该数据集所解决的领域问题核心在于，精细操作任务中动作精确性与环境随机性带来的泛化挑战。具体而言，机器人需在目标位置随机化（30cm范围内）、停留时长抖动（k15dwell）等随机条件下，稳定完成香蕉入碗动作，这要求策略对状态变化具备鲁棒性。构建过程中的挑战则体现在：一是高保真仿真数据与真实物理世界之间的域差异，需通过DLSS质量渲染与解耦管线缓解；二是大规模轨迹采集的效率与一致性，5229个片段的生成依赖RL策略滚动的稳定输出，且需同步双摄像头视频与关节状态在15Hz下的时序对齐；三是数据格式的兼容性，从RoboLab原生格式向LeRobot v3.0的转换需维护动作、状态与观测的维度映射，确保pi0.5模型可直接读取。这些挑战共同塑造了该数据集在仿真机器人操作研究中的独特地位。

常用场景

经典使用场景

在机器人操作领域，该数据集专为精细抓取与放置任务设计，其核心场景聚焦于将香蕉精准放入碗中的操作。数据集包含5229个示范轨迹，利用肩部左侧和腕部摄像头采集视觉信息，并记录7个关节位置与夹爪状态的完整动作序列。研究者常将其作为模仿学习与行为克隆的基准，通过解耦状态采集与回放渲染流程生成高质量专家演示，尤其适用于训练具备空间感知与协调控制能力的机器人策略。

实际应用

在实际应用中，该数据集赋能服务机器人在厨房或实验室环境中执行精确的物体搬运任务。基于视觉输入与关节控制指令的映射关系，开发者可微调预训练模型，使机器人自主完成香蕉入碗等精细抓取动作。其数据格式兼容LeRobot与pi0.5框架，支持快速部署到工业自动化产线或家庭辅助系统中，尤其适用于需要柔顺抓取与避障操作的场景。

衍生相关工作

该数据集衍生出多项经典工作，包括基于扩散策略的动作序列生成方法，以及利用多视角视觉特征进行闭环控制的对比学习模型。研究者通过结合仿真回放与真实闭环执行数据，开发了状态-动作解耦的预训练管道，相关成果被用于提升长时域操作策略的鲁棒性。此外，其与pi0.5架构的兼容性催生了轻量化机器人操作模型，推动了低成本灵巧操作系统的学术创新。