Deloitte-Innovation/franka_300_merge

Franka 300合并数据集是LeRobot v3.0版本的数据集，包含300个episodes的Franka机器人操作数据。机器人类型为Franka，任务是将黄色扬声器放入白色箱子目标区域，然后将机械臂返回到起始位置。数据集共300个episodes，总帧数为142,709帧，帧率为30 FPS。摄像头包括外部图像（640x480）和手腕图像（640x480）。状态维度为22（关节位置、速度、夹爪和末端执行器位姿），动作维度为8（关节位置和夹爪）。LeRobot v3.0 dataset with 300 episodes of Franka robot manipulation data. Robot: Franka. Task: Place the yellow speaker in the white bin goal area, then return the arm to the start position. Episodes: 300. Total frames: 142,709. FPS: 30. Cameras: exterior_image (640x480), wrist_image (640x480). State dim: 22 (joint pos, vel, gripper, EE pose). Action dim: 8 (joint pos + gripper).

搜集汇总

数据集介绍

构建方式

该数据集名为franka_300_merge，属于LeRobot v3.0格式的机器人操作数据集。其构建基于Franka协作机器人平台，通过录制300条演示轨迹，完成将黄色扬声器放置于白色箱子目标区域并复位机械臂至起始位置的复合任务。数据集包含共计142,709帧图像与状态序列，采样频率为30帧/秒。传感器配置涵盖外部视角与腕部视角的双目视觉系统，分别输出640×480像素的彩色图像，同时记录22维状态向量（包括关节位置、关节速度、夹爪开度及末端执行器位姿）与8维动作向量（含关节位置与夹爪指令），从而构建了完整的视觉-运动映射样本空间。

特点

该数据集的核心特点在于其复合任务设计与多模态传感融合。任务由放置与复位两个连续子阶段构成，要求机械臂完成精确的转运定位与自主回零操作，兼具目标抓取与路径规划的双重挑战。数据维度上，22维状态空间覆盖了关节级与任务级运动信息，8维动作空间则聚焦于位置控制与夹爪协同。双摄像头配置从全局与局部视角共同捕获场景动态，为行为克隆与模仿学习算法提供了丰富的视觉先验。300条高质量专家轨迹保证了数据分布的充分性与多样性，适用于离线训练与策略评估。

使用方法

该数据集以LeRobot标准格式存储，数据文件采用Parquet格式分布在data目录下，便于高效读写与批量处理。用户可通过HuggingFace Datasets库加载default配置下的训练集，直接获取对齐的图像序列、状态向量与动作标签。典型应用场景包括使用行为克隆、逆强化学习或扩散策略等方法训练Franka机械臂的端到端操作策略。数据集中的任务描述可作为奖励函数设计的基准，而多视角图像与状态数据则支持联合训练视觉编码器与运动控制器。建议在训练前对状态与动作进行归一化处理，并利用帧率信息进行时序采样。

背景与挑战

背景概述

在机器人操作领域，基于示范学习的行为克隆方法依赖于高质量、多样化的数据集来训练泛化能力强的策略。franka_300_merge数据集由LeRobot社区于近期创建，聚焦于Franka机械臂的精细操作任务，核心研究问题在于如何通过多视角视觉与状态-动作记录，使机器人学会从初始状态至目标状态的完整流程。该数据集包含300个示范片段，总计超过14万帧图像，并提供了外部与腕部双视角摄像头数据，为研究视觉-运动控制耦合提供了丰富资源。其影响力体现在为开源社区提供了标准化基准，推动了机器人学习从模拟环境向真实场景的迁移研究。

当前挑战

该数据集所解决的领域问题核心在于机器人从感知到执行的闭环控制，即如何从多模态输入中精准学习非结构化场景下的操作策略，如将黄色扬声器放入白色目标区域后复位。构建过程中面临的挑战包括：一是示范数据的一致性维护，300个片段需保证任务动作的可复现性和低噪声；二是双摄像头视角下图像的时间同步与空间对齐，避免因标定误差导致策略学习偏差；三是高维状态空间（22维）与动作空间（8维）之间的映射关系复杂，需平衡数据覆盖度与采集效率，防止过拟合有限示范样本。

常用场景

经典使用场景

在机器人操作学习领域，franka_300_merge数据集凭借其高保真度和多视角视觉信息，成为训练模仿学习与强化学习算法的经典资源。研究者通常利用该数据集中的300个示范轨迹，结合exterior_image和wrist_image双摄像头（640x480分辨率）提供的丰富视觉输入，以及包含关节位置、速度、夹爪状态和末端执行器位姿的22维状态空间，构建从观测到动作的端到端映射模型。这些数据帧以30 FPS的采样率记录了完整的“放置扬声器至目标箱并归位”任务流程，为学习空间约束下的精确操控行为提供了可靠的训练基础。

实际应用

在实际应用中，franka_300_merge数据集驱动的操作技能可直接部署于工业装配、仓储分拣及服务机器人等场景。例如，学习到的“放置扬声器”行为可适配为将电子元件精准嵌入电路板检查夹具的任务，或用于物流场景中将异形包裹放入特定规格的周转箱。其双摄像头配置契合了真实工厂中多传感器融合的需求，而3万赫兹的控制频率确保了实时性要求。此外，数据集中强调的“手臂归位”动作模式，对提升协作机器人工作循环中的安全性与节拍效率具有实质参考价值，为柔性制造系统的自主化提供了可复用的技能模块。

衍生相关工作

基于franka_300_merge数据集，学术界已衍生出多项里程碑式工作。例如，LeRobot社区利用该数据构建了跨本体迁移学习的基线模型，证明了从Franka机器人收集的演示可迁移至其他七自由度机械臂。研究者还以此数据集为基础，提出了基于隐式行为克隆的粗糙度感知抓取策略，显著提升了在未知物体表面上的操作鲁棒性。此外，该数据集被纳入多个机器人学习基准测试（如RLBench的扩展子集），用于对比扩散策略与Transformer架构在模仿学习中的表现。这些工作共同验证了高质量多视角示范数据在推动机器人自主学习能力演进中的基石作用。