RLinf/dreamzero-franka-pnp

该数据集包含真实世界Franka Panda拾取-放置演示，用于DreamZero的监督微调和在RLinf中的真实世界部署。数据集采用LeRobot v2.1格式，机器人类型为Franka Panda，任务为拾取物体并将其放入另一个箱子中。包含140个情节，9,685帧，帧率为10 FPS，280个视频，图像流包括observation.images.image和observation.images.wrist_image，图像尺寸为128 x 128 RGB，状态为float32类型、形状[19]，动作为float32类型、形状[7]。This dataset comprises real-world Franka Panda pick-and-place demonstrations intended for supervised fine-tuning of DreamZero and real-world deployment within RLinf. The dataset adheres to the LeRobot v2.1 format, utilizing the Franka Panda robot, with the task being to pick up an object and place it into another box. It contains 140 episodes, 9,685 frames at a frame rate of 10 FPS, and 280 videos. The image streams include observation.images.image and observation.images.wrist_image, where each image is 128 × 128 RGB. The states are of float32 data type with a shape of [19], and the actions are of float32 data type with a shape of [7].

搜集汇总

数据集介绍

构建方式

该数据集源自真实世界中的Franka Panda机器人平台，专为模仿学习与DreamZero微调而设计，收录了140条完整的抓取与放置任务演示。数据以LeRobot v2.1标准格式组织，涵盖9,685帧图像与280段视频，包括机器人主视角与腕部摄像头两个影像流，分辨率统一为128×128 RGB。状态与动作信号分别以19维与7维浮点向量记录，确保与下游策略模型的高效兼容。

使用方法

研究者可借助huggingface-cli工具直接下载完整数据集，并通过DreamZero元数据生成脚本将其转换为专属格式。在RLinf框架中进行真实机器人评估时，需指定embodiment_tag为franka_pnp，并确保夹爪动作约定与gripper_action_mode: signed保持一致。该数据集面向科研场景，强调在受控环境中验证，并配备完善的安全检查机制，适合用于模仿学习算法的开发与真实场景迁移测试。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习的结合日益成为突破复杂操作任务瓶颈的关键路径。DreamZero Franka Pick-and-Place数据集由RLinf团队于近年创建，专注于现实世界中Franka Panda机械臂的抓取与放置任务，旨在为DreamZero框架的监督微调与真实部署提供基准数据。该数据集包含140个演示片段，共计9,685帧图像，涵盖机械臂本体视角与腕部视角的双目视觉信息，并同步记录了七维动作空间与十九维状态空间。其发布填补了面向精细操作任务的低成本、标准化真实机器人数据的空白，已成为机器人领域内推动从仿真到现实迁移学习的重要资源。

当前挑战

该数据集所面临的挑战主要体现在两个层面：其一，在领域问题层面，尽管数据集提供了标准化的抓取放置演示，但真实场景中的物体形状、材质与光照条件存在高度不确定性，模型在跨场景泛化时容易因视觉分布偏移而失效；同时，非刚体物体或透明物体的视觉特征提取仍是一大难题。其二，在构建过程中，数据收集依赖人工演示，受限于人手操作的重复性与精度，导致运动轨迹存在微小不一致，对后续策略学习的稳定性构成考验；此外，真实环境下硬件磨损与传感器噪声亦对数据标注的准确性提出了严格要求。

常用场景

经典使用场景

DreamZero Franka Pick-and-Place数据集的经典使用场景在于为机器人模仿学习提供精细化的真实世界演示数据。该数据集记录了Franka Panda机械臂执行拾取与放置任务的完整过程，包括140个示范片段，包含高清图像流与机械臂状态轨迹。研究者可利用这些数据训练视觉-动作策略，使机器人通过观察示范动作自主习得物体的抓取与搬运技能，尤其适用于基于行为克隆或逆强化学习框架的策略初始化与微调任务。

解决学术问题

在学术研究层面，该数据集有效解决了真实机器人场景下数据稀缺与领域迁移困难的问题。通过提供标准化、高频率采样的拾取放置任务样本，它支持研究人员系统评估算法在物理环境中的泛化性与鲁棒性。数据集的发布推动了模仿学习与强化学习在机器人操作领域的交叉融合，使得从仿真环境向真实机械臂的零样本迁移研究变得可行，进而促进了数据高效策略学习理论的实证验证。

实际应用

实际应用场景中，该数据集可直接服务于智能制造与仓储物流领域的自动化流程部署。开发者可利用DreamZero Franka Pick-and-Place数据集微调机器人策略，使其能够适应不同形状、材质的目标物体，并完成从供料台到分类箱的精确转移。结合实时视觉反馈与夹爪控制信号，该数据集为构建自主分拣系统、装配线物料搬运单元以及人机协作场景下的辅助操作设备提供了可靠的技术支撑。

数据集最近研究

最新研究方向

DreamZero Franka Pick-and-Place数据集聚焦于真实世界机器人模仿学习的前沿探索，尤其在基于大规模预训练模型（如DreamZero）的监督微调与实体部署中发挥关键作用。该数据集采集自Franka Panda机械臂执行拾取与放置任务的140个示范片段，适配LeRobot v2.1标准格式，为机器人操作技能的泛化性研究提供了高保真、多模态的训练素材。结合HuggingFace生态与RLinf框架，该数据集推动了从仿真到真实硬件无缝迁移的范式革新，其在夹爪动作约定与硬件安全校验上的设计考量，彰显了行业对数据驱动具身智能安全落地的重视，标志着机器人学习正迈向更高效、可信的实用化阶段。