fr3-pick-place-lerobot

该数据集基于LeRobot框架创建，旨在为机器人操控任务（特别是拾取和放置任务）提供训练数据。数据集包含121个演示片段，共计17626帧视频和传感器数据，涵盖4个不同任务。数据使用Franka Research 3（FR3）机器人搭配Gello遥操作设备在真实环境中采集，以20 FPS的帧率录制。数据特征包括：8维机器人关节状态（7个关节位置+夹爪位置）、来自两个摄像头（agent视角和wrist视角）的256x256 RGB视频、命令状态（commanded state）以及8维动作指令。所有数据以Parquet和MP4视频文件格式存储，并按照LeRobot标准组织。该数据集适用于模仿学习、行为克隆、机器人操控策略训练等任务，并可用于多任务学习场景。This dataset is created based on the LeRobot framework, aiming to provide training data for robot manipulation tasks, especially pick-and-place tasks. It contains 121 demonstration episodes, totaling 17,626 frames of video and sensor data, covering 4 different tasks. Data was collected in a real environment using a Franka Research 3 (FR3) robot with a Gello teleoperation device, recorded at 20 FPS. Data features include: 8-dimensional robot joint states (7 joint positions + gripper position), 256x256 RGB videos from two cameras (agent view and wrist view), commanded states, and 8-dimensional action commands. All data is stored in Parquet and MP4 video file formats, organized according to LeRobot standards. This dataset is suitable for imitation learning, behavior cloning, robot manipulation policy training, and can be used for multi-task learning scenarios.

原始信息汇总

数据集概述

该数据集名为 fr3-pick-place-lerobot，由 knu-physical-ai 发布，是一个面向机器人操作任务的真实机器人数据集，基于 LeRobot 框架创建。

基本信息

• 许可证： Apache-2.0
• 任务类别： 机器人技术（robotics）
• 标签： LeRobot
• 机器人类型： fr3_gello_real（Franka FR3 机械臂搭配 Gello 遥操作设备）
• 采样频率： 20 fps
• 数据格式： Parquet 文件（数据）+ MP4 视频文件（图像）
• 数据文件大小： 约 100 MB（数据文件）+ 约 200 MB（视频文件）

数据规模

• 总回合数（episodes）： 121
• 总帧数（frames）： 17,626
• 总任务数（tasks）： 4
• 数据划分： 仅包含训练集（train），共 121 个回合

数据特征

每个样本包含以下特征字段：

特征名	数据类型	形状	说明
observation.state	float32	[8]	机器人观测状态（7 个关节位置 + 1 个夹爪位置）
observation.images.agent	video	[256, 256, 3]	第三人称视角摄像头图像（AV1 编码）
observation.images.wrist	video	[256, 256, 3]	腕部摄像头图像（AV1 编码）
observation.commanded_state	float32	[8]	指令状态（7 个关节位置 + 1 个夹爪位置）
action	float32	[8]	动作指令（7 个关节位置 + 1 个夹爪位置）
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	回合索引
index	int64	[1]	样本索引
task_index	int64	[1]	任务索引

图像规格

• 分辨率： 256 × 256 像素，3 通道（RGB）
• 视频编码： AV1（codec: av1），像素格式 yuv420p
• 视频帧率： 20 fps
• 无音频

使用

• 可通过 LeRobot 框架进行数据集的可视化和训练：
  • 可视化工具：https://huggingface.co/spaces/lerobot/visualize_dataset?path=knu-physical-ai/fr3-pick-place-lerobot
  • 数据路径：data/*/*.parquet，视频路径：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，采集自FR3机械臂在真实环境中的抓取与放置任务执行过程。通过遥操作方式，由操作者引导机械臂完成多样化操作轨迹，同步记录关节位置、指令状态及动作序列，并借助多视角摄像头捕获视觉信息。全部数据以20Hz频率采样，形成728个回合、逾十万帧的时序化记录，并按照LeRobot v3.0规范存储为Parquet与视频文件，以支持模仿学习研究。

使用方法

使用者可借助LeRobot工具链加载数据集，利用Hugging Face Spaces提供的可视化界面直观检视各回合轨迹与视频片段。数据以Parquet文件存储状态与动作序列，视频文件独立存放，便于按需读取。研究者可基于此数据集训练模仿学习模型，将双路视觉观测与关节状态作为输入，预测机械臂动作，并通过任务索引与回合索引进行数据划分与实验复现。

背景与挑战

背景概述

在机器人学习与具身智能迅猛发展的背景下，基于示教数据的模仿学习已成为实现灵巧操作的重要范式。fr3-pick-place-lerobot数据集由KNU Physical AI团队构建，依托LeRobot框架，于Franka Research 3（FR3）机器人平台上采集完成。该数据集聚焦于抓取-放置任务，通过遥操作方式生成了728个回合、逾十万帧的多模态示范数据，涵盖15项任务变体，并同步记录了双路RGB视觉观测与关节位置、夹爪状态等本体感知信息。其核心研究问题在于为视觉-动作映射策略提供高质量、多视角的真实世界示教语料，进而推动模仿学习算法在精细操作场景中的泛化能力。该数据集为机器人操作学习社区提供了可复现的基准资源，对具身智能领域的算法验证与比较研究具有基础性支撑作用。

当前挑战

抓取-放置任务本身即要求机器人在非结构化环境中完成目标识别、空间定位、运动规划与力觉协调等多层级认知与物理交互，其领域挑战在于如何从高维视觉输入中提取任务相关的紧凑表征，并生成对物体位姿变化具有鲁棒性的动作序列。该数据集在构建过程中亦面临若干现实约束：遥操作示教需在保证轨迹自然性与任务成功率的双重目标下维持数据一致性，多相机同步采集对时间戳对齐与视频编码质量提出了严苛要求，而任务变体的多样性设计需在覆盖度与数据规模之间取得平衡。此外，真实机器人平台上的数据采集成本高昂，示范者的操作习惯差异可能引入分布偏移，对后续策略学习的泛化性能构成潜在影响。

常用场景

经典使用场景

在机器人操作学习领域，模仿学习被视为赋予机械臂灵巧技能的核心范式。该数据集汇聚了728个演示回合、逾十万帧的多视角视觉与本体状态记录，涵盖Franka FR3机械臂在抓取放置任务中的完整动作序列，为基于示教的操作策略学习提供了经典且高质的训练素材。研究者常将其用于行为克隆与视觉-动作映射的建模，借助主视角与腕部视角的同步观测，训练端到端的操作策略，从而在仿真或真实环境中复现稳定的抓取与放置行为。

解决学术问题

该数据集直面机器人模仿学习中演示数据稀缺、多模态观测对齐困难等学术瓶颈。其同时记录关节位置、夹爪状态、指令状态与双路视频流，为状态估计、动作分块及多传感器融合研究提供了标准化的验证平台。数据中的任务多样性有助于考察策略的泛化边界，缓解过拟合于单一场景的痼疾，对推动可复现、可比较的操作学习基准建设具有实质意义，亦为模仿学习算法的公平评测奠定了数据基础。

实际应用

在智能制造与仓储物流等场景中，机械臂的抓取放置是高频且关键的操作环节。该数据集所蕴含的真实机械臂运动轨迹与视觉观测，可直接服务于工业分拣、物料搬运及柔性装配等任务的策略预训练与微调。依托LeRobot工具链的标准化格式，开发者能够便捷地将其部署至真实Franka平台，加速从数据采集到策略落地的闭环，降低机器人编程与调试的门槛，提升自动化作业的柔性与效率。

数据集最近研究

最新研究方向

在具身智能与机器人操作学习领域，基于Franka FR3机械臂与GELLO遥操作框架构建的fr3-pick-place-lerobot数据集，正推动模仿学习与视觉-语言-动作模型的前沿探索。该数据集融合多相机RGB观测、关节状态与动作序列，支持高频率精细抓取放置任务，其结构化设计契合当前灵巧操作与跨模态策略学习的研究热点。围绕该数据集，近期工作聚焦于利用扩散策略与Transformer架构提升样本效率与泛化能力，并借助LeRobot生态实现策略的标准化评估与复现。伴随开源机器人学习基准的兴起，该数据集为真实场景下的操作技能迁移提供了重要支撑，对推动通用机器人操作策略的实用化具有积极意义。