franka_pick

这是一个机器人数据集，包含了一个Franka类型机器人的操作数据。数据集共有1个剧集，158帧，1个任务，2个视频，1个数据块，每个块包含1000个数据点，帧率为15fps。数据集被分割为训练集。数据集中的特征包括动作（位置和姿态）、状态（位置、速度和姿态）、顶部和手腕的图像数据等。数据以Parquet文件格式存储，视频为av1编码的MP4格式。

This is a robotic dataset containing operational data of a Franka-type robot. The dataset comprises 1 episode, 158 frames, 1 task, 2 videos, and 1 data chunk, with each chunk containing 1000 data points and a frame rate of 15 fps. The dataset is split into the training subset. Features included in the dataset are actions (position and orientation), states (position, velocity and orientation), image data from the top and wrist, and so on. The data is stored in Parquet file format, while the videos are in AV1-encoded MP4 format.

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot
• 代码库版本: v2.1
• 机器人类型: franka

数据集结构

• 总片段数: 1
• 总帧数: 158
• 总任务数: 1
• 总视频数: 2
• 总块数: 1
• 块大小: 1000
• 帧率: 15 fps
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

• action:
  • 数据类型: float32
  • 形状: [7]
  • 名称: v_x, v_y, v_z, v_roll, v_pitch, v_yaw, gripper
• observation.state:
  • 数据类型: float32
  • 形状: [13]
  • 名称: x, y, z, qx, qy, qz, qw, vx, vy, vz, v_roll, v_pitch, v_yaw
• observation.images.top:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 非深度图
    • 帧率: 15 fps
    • 通道数: 3
    • 无音频
• observation.images.wrist:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 非深度图
    • 帧率: 15 fps
    • 通道数: 3
    • 无音频
• timestamp:
  • 数据类型: float32
  • 形状: [1]
• frame_index:
  • 数据类型: int64
  • 形状: [1]
• episode_index:
  • 数据类型: int64
  • 形状: [1]
• index:
  • 数据类型: int64
  • 形状: [1]
• task_index:
  • 数据类型: int64
  • 形状: [1]

其他信息

• 主页: [More Information Needed]
• 论文: [More Information Needed]
• 引用: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作领域，franka_pick数据集通过LeRobot框架精心构建，采用Franka机器人执行拾取任务。数据以15帧每秒的速率采集，包含158帧动作序列，存储为Parquet格式文件。每个数据块包含7维动作向量和13维状态观测值，同时配备顶部和腕部双视角视频，视频分辨率为480x640，采用AV1编码确保数据高效存储。

特点

该数据集显著特点在于其多维度的动作-观测对齐架构，动作空间涵盖三维平移、三轴旋转及夹爪控制，状态观测则融合位姿、速度和四元数表征。视觉数据采用工业级双摄像头配置，非深度图的RGB视频以YUV420p格式保存，为模仿学习提供丰富的空间上下文信息。时间戳与帧索引的精确标注支持时序动作分析的开展。

使用方法

研究者可通过加载Parquet文件直接访问结构化动作-观测对，利用帧索引实现跨模态数据对齐。视频数据适合用于视觉伺服控制算法的训练，而高精度时间戳支持动态建模。数据集默认划分为训练集，建议结合LeRobot框架进行端到端策略学习，或提取特征用于行为克隆等机器人学习任务。

背景与挑战

背景概述

franka_pick数据集是机器人操作领域的重要数据资源，由LeRobot团队基于Apache-2.0协议构建。该数据集聚焦于机械臂抓取任务，采用Franka Emika机器人平台采集多维时序数据，包含末端执行器动作指令、关节状态信息以及多视角视觉观测。作为开源机器人学习生态的关键组成部分，该数据集为模仿学习与强化学习算法提供了真实世界的交互轨迹，弥补了仿真环境与物理系统间的语义鸿沟。

当前挑战

该数据集面临的核心挑战体现在算法与应用两个维度。在算法层面，7自由度机械臂的高维连续动作空间与部分可观测特性，对策略网络的表征能力提出严峻考验；多模态传感器数据的时空对齐问题增加了模型训练的复杂度。在数据构建层面，机械臂控制指令与真实运动轨迹的标定误差、不同光照条件下视觉特征的稳定性、以及长周期任务中的累积偏差，均为数据质量控制带来显著挑战。

常用场景

经典使用场景

在机器人操作领域，franka_pick数据集为研究机械臂抓取任务提供了丰富的多模态数据。该数据集通过记录Franka机械臂执行抓取动作时的关节状态、末端执行器速度以及多视角视觉信息，成为开发模仿学习算法的理想基准。其包含的7自由度动作空间和13维状态观测空间，能够精确还原机械臂的运动轨迹和姿态变化。

实际应用

在工业自动化场景中，该数据集支持开发智能分拣系统的核心算法。基于其包含的抓取动作数据，工程师可以训练机器人适应不同形状物体的抓取策略。数据集提供的顶部和腕部双视角视频，特别有助于开发基于视觉伺服的精密抓取系统，在电子元件装配、物流分拣等领域具有直接应用价值。

衍生相关工作

该数据集已催生多个机器人学习领域的重要研究。基于其多模态特性，研究者开发了融合视觉与本体感知的混合控制策略；其标准化的数据格式促进了模仿学习benchmark的建立；部分工作还利用该数据集验证了跨模态表征迁移在机器人操作中的有效性，推动了sim-to-real研究的发展。