real_assembly_plane_franka

该数据集由LeRobot创建，专注于机器人技术领域的拾取放置任务，使用Franka Panda机器人收集。包含50个 episodes，总计16260帧数据，采样率为10fps。数据集提供丰富的多模态观测数据，包括机器人关节状态（8维）、腕部相机图像（720x1280x3）和侧面相机图像（720x1280x3），以及相应的8维动作控制指令（7个关节和1个夹爪）。数据以parquet格式存储，适用于机器人学习算法的训练和评估。This dataset was created by LeRobot, focusing on pick-and-place tasks in the field of robotics, and was collected using a Franka Panda robot. It contains 50 episodes, totaling 16260 frames, with a sampling rate of 10 fps. The dataset provides rich multimodal observational data, including 8-dimensional robot joint states, wrist camera images (720×1280×3), side camera images (720×1280×3), as well as corresponding 8-dimensional action control commands (7 joints and 1 gripper). The data is stored in Parquet format and is suitable for training and evaluating robotic learning algorithms.

原始信息汇总

数据集概述

基本信息

• 名称：real_assembly_plane_franka
• 许可证：Apache-2.0
• 任务类别：机器人学
• 标签：LeRobot、franka、panda、pick_and_place

数据集结构

• 总任务数：1
• 总视频数：100
• 总片段数：50
• 总帧数：16260
• 片段大小：1000
• 帧率：10 fps
• 数据格式：Parquet
• 数据路径：data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径：videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4
• 训练集划分：0:50

特征描述

动作特征

• 名称：action
• 数据类型：float64
• 形状：[8]
• 关节名称：joint_0、joint_1、joint_2、joint_3、joint_4、joint_5、joint_6、gripper

观测特征

状态观测

• 名称：observation.state
• 数据类型：float64
• 形状：[8]
• 关节名称：joint_0、joint_1、joint_2、joint_3、joint_4、joint_5、joint_6、gripper

腕部摄像头图像

• 名称：observation.images.wrist_camera
• 数据类型：video
• 形状：[720, 1280, 3]
• 视频信息：
  • 高度：720
  • 宽度：1280
  • 编解码器：h264
  • 像素格式：yuv420p
  • 深度图：否
  • 帧率：10
  • 通道数：3
  • 音频：无

侧部摄像头图像

• 名称：observation.images.side_camera
• 数据类型：video
• 形状：[720, 1280, 3]
• 视频信息：
  • 高度：720
  • 宽度：1280
  • 编解码器：h264
  • 像素格式：yuv420p
  • 深度图：否
  • 帧率：10
  • 通道数：3
  • 音频：无

索引特征

• 时间戳：timestamp (float32, [1])
• 帧索引：frame_index (int64, [1])
• 片段索引：episode_index (int64, [1])
• 索引：index (int64, [1])
• 任务索引：task_index (int64, [1])

技术信息

• 代码库版本：v2.1
• 机器人类型：Franka
• 创建工具：LeRobot (https://github.com/huggingface/lerobot)

搜集汇总

数据集介绍

构建方式

在机器人操作领域，数据集的质量直接决定了模仿学习算法的泛化能力与鲁棒性。real_assembly_plane_franka数据集基于LeRobot框架构建，由Franka Panda机械臂在真实的装配平面环境中执行拾取与放置任务时采集而成。该数据集共包含50个完整回合（episodes），总计16260帧时间序列数据，所有数据均以Parquet格式存储，并辅以H.264编码的高清视频。每一回合的数据结构由动作向量、机器人关节状态（8维，含7个关节与夹爪）、两个视角的视觉观测图像（腕部相机与侧方相机，分辨率720×1280）以及时间戳、帧索引等元信息组成。数据采集频率为10帧/秒，确保对动态操作过程的精细刻画。所有数据被划分为单一训练集，无测试集拆分，便于研究者直接用于端到端的策略学习。

特点

该数据集的核心特点在于其高保真的多模态对齐与任务聚焦性。视觉观测部分同时提供腕部与侧方两个视角的RGB图像，为算法提供了丰富的空间上下文信息，有助于提升模型对装配环境的理解能力。动作与状态空间均为8维连续值，直接映射至Franka机械臂的物理执行层面，避免了离散化带来的信息损失。此外，数据集虽仅包含单一任务类型——平面装配中的拾取与放置，但通过50个不同初始条件下的回合演示，累积了相当的操作多样性。视频数据采用H.264压缩，在保证视觉质量的同时有效控制了存储开销，使其适用于大规模模仿学习实验。数据集的Apache-2.0许可协议进一步降低了学术与工业界的使用门槛。

使用方法

使用该数据集时，研究者可借助LeRobot库提供的标准化数据加载接口高效访问。通过配置文件中的data路径与video路径，系统能够自动将Parquet格式的时序数据与对应的MP4视频文件进行关联。数据集已预定义单一训练拆分（splits.train: 0:50），用户无需额外划分即可直接用于训练模仿学习模型。在模型输入构建上，可将8维关节状态与两个视角的图像特征进行拼接或融合，输出8维动作向量。由于数据以10帧/秒的固定频率采集，时间戳信息可用于实现时间对齐或数据增强。对于需要多任务学习的场景，数据集中的task_index字段可辅助区分任务标识，尽管当前仅包含单一任务。建议用户结合LeRobot的示例脚本快速上手，并依据具体算法需求调整批处理大小与序列长度。

背景与挑战

背景概述

在机器人操作领域，模仿学习与示教学习正逐步成为实现复杂技能泛化的核心范式，其中高保真、多模态的数据集是驱动算法进步的关键基石。real_assembly_plane_franka数据集由Hugging Face LeRobot社区主导创建，依托Franka Emika Panda机械臂平台，聚焦于平面装配这一精细操作任务。该数据集于近期发布，包含50个完整演示回合、逾1.6万帧时序数据，同步采集了腕部与侧方双视角高清视频以及8维关节状态与动作序列，为研究从视觉到力控的端到端策略提供了标准化基准。其影响力体现在为机器人装配场景中的策略迁移、泛化性测试及多视角融合学习提供了可复现的公开资源，推动了具身智能领域从仿真到真实任务的跨越。

当前挑战

该数据集所应对的核心挑战在于解决精密装配任务中的高精度操控与感知不确定性矛盾。具体而言，一方面，平面装配涉及微小零件对位与插入，要求机械臂在毫米级误差范围内完成连续动作，而当前动作空间仅包含8维关节指令，缺乏力觉反馈模态，制约了接触力自适应调节能力的建模。另一方面，数据集构建过程中面临演示质量一致性难题：50个回合的示教数据由人工遥操作采集，受操作者熟练度与疲劳影响，轨迹分布可能存在偏差；同时，双摄像头以10帧/秒采样的视觉信息在快速运动时易产生运动模糊，增加了时间对齐与特征提取的难度。此外，单一任务类型与有限样本量限制了模型对装配角度、零件几何变体的泛化能力，亟需更丰富的任务变体与数据增强策略来提升鲁棒性。

常用场景

经典使用场景

在机器人学习与操控领域，real_assembly_plane_franka数据集为基于Franka机械臂的精密装配任务提供了高质量的演示数据。该数据集包含50个完整演示片段，共计16260帧，涵盖关节角度、夹爪状态及双视角视觉信息（腕部与侧方摄像头），帧率为10Hz。这一资源常用于模仿学习与行为克隆算法的训练与评估，研究者可借助该数据集学习从视觉观测到关节动作的映射，从而复现复杂的平面装配操作。其高分辨率图像与同步运动数据为构建端到端操控模型奠定了坚实基础。

解决学术问题

该数据集有效解决了机器人装配任务中数据稀缺与泛化性不足的核心学术难题。通过提供标准化、多模态的演示轨迹，它使得研究者能够系统性地探索策略学习中的状态表征、动作序列建模以及视觉-运动协调等关键问题。具体而言，该数据集推动了基于Transformer的决策模型、扩散策略以及逆强化学习方法的发展，为验证算法在精细操控场景下的鲁棒性与迁移能力提供了可靠基准。其意义在于降低了机器人学习研究的实验门槛，促进了可复现的学术进展。

衍生相关工作

该数据集衍生了一系列经典研究工作，尤其在模仿学习与机器人操作领域影响深远。基于该数据，研究者提出了多种创新的策略学习方法，例如结合扩散模型的精细动作生成框架、利用对比学习增强视觉表征的预训练范式，以及融入时序注意力机制的轨迹预测网络。此外，该数据集也被用于评估多任务学习与领域随机化技术，推动了从单一装配任务向通用操作技能的泛化研究。这些工作共同丰富了机器人学习理论体系，并为后续研究提供了可量化的比较基准。