jsi_franka_peg_in_hole_v12

该数据集使用LeRobot创建，采用apache-2.0许可证。数据集属于机器人学领域，包含1061个episodes，30948帧数据，涉及26个任务。数据以parquet格式存储，总数据文件大小为100MB，视频文件大小为200MB，帧率为15fps。数据集包含多种特征，如动作（7维浮点数向量）、观测状态（24维浮点数向量）、图像观测（480x640x3的视频数据）以及时间戳、帧索引、episode索引等元数据。适用于机器人控制、行为克隆等任务。

原始信息汇总

数据集概述

基本描述

• 数据集名称: jsi_franka_peg_in_hole_v12
• 创建工具: 使用 LeRobot (https://github.com/huggingface/lerobot) 创建。
• 任务类别: 机器人学
• 标签: LeRobot
• 许可证: Apache-2.0

数据集规模与结构

• 总情节数: 1243
• 总帧数: 36204
• 总任务数: 26
• 数据块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 帧率: 15 FPS
• 数据分割: 训练集 (train) 包含所有1243个情节。
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

数据集包含以下主要特征：

动作

• 数据类型: float32
• 形状: [7]
• 内容: 包含7个维度的工具末端相对笛卡尔位姿指令和夹爪状态。
  • cart_pos_x_tool_commanded_rel
  • cart_pos_y_tool_commanded_rel
  • cart_pos_z_tool_commanded_rel
  • cart_rot_x_tool_commanded_rel
  • cart_rot_y_tool_commanded_rel
  • cart_rot_z_tool_commanded_rel
  • gripper

观测状态

• 数据类型: float32
• 形状: [24]
• 内容: 包含24个维度的机器人状态信息。
  • 测量与指令的笛卡尔位置 (cart_pos_*_measured, cart_pos_*_commanded)
  • 测量与指令的6D旋转 (cart_rot6d_*_measured, cart_rot6d_*_commanded)
  • 测量的笛卡尔线速度与角速度 (cart_*.vel_measured)

观测图像

包含两个图像流 (observation.images.image 和 observation.images.image2)。

• 数据类型: 视频
• 形状: [480, 640, 3]
• 视频信息:
  • 分辨率: 640x480
  • 通道: 3 (RGB)
  • 帧率: 15 FPS
  • 编解码器: AV1
  • 像素格式: yuv420p
  • 非深度图
  • 无音频

元数据索引

• 时间戳: 数据类型 float32，形状 [1]。
• 帧索引: 数据类型 int64，形状 [1]。
• 情节索引: 数据类型 int64，形状 [1]。
• 索引: 数据类型 int64，形状 [1]。
• 任务索引: 数据类型 int64，形状 [1]。

其他信息

• 主页: 未提供
• 论文: 未提供
• 引用信息: 未提供

搜集汇总

数据集介绍

构建方式

在机器人操作学习领域，高质量示范数据对于模型训练至关重要。jsi_franka_peg_in_hole_v12数据集通过LeRobot平台系统采集构建，专注于经典的“圆孔插桩”精细操作任务。该数据集包含1243个完整操作片段，总计36204帧数据，涵盖26种不同任务变体，以15帧/秒的速率记录Franka机械臂的连续操作过程。数据采用分块存储机制，每1000帧构成一个数据块，并以Parquet格式高效组织，确保数据读取与处理的流畅性。

特点

该数据集在机器人操作数据集中展现出显著的多模态与结构化特征。其核心优势在于同时提供高维动作指令、精确状态观测与双视角视觉信息：动作空间包含7维工具相对位姿与夹爪控制指令；状态观测融合24维实测与指令位姿及速度信息；视觉数据则通过两个480×640分辨率的RGB摄像头以AV1编码视频形式记录操作场景。这种多维数据对齐设计，为模仿学习与强化学习算法提供了丰富的状态-动作对应关系，支持端到端策略学习与感知-控制联合建模。

使用方法

研究人员可通过HuggingFace数据集库直接加载该数据集进行机器人操作算法开发。数据集采用标准化的特征字典结构，用户可便捷访问动作、观测、图像及元数据字段。典型使用流程包括：利用observation.images字段获取双视角视觉输入，结合observation.state进行状态特征提取，通过action字段学习控制策略生成。数据已预分割为训练集，可直接用于行为克隆、逆强化学习等算法训练，也可通过时间戳与帧索引重构完整操作轨迹，支持序列建模与动态系统分析。

背景与挑战

背景概述

在机器人操作领域，精确执行插孔任务代表了灵巧操作的核心挑战之一。jsi_franka_peg_in_hole_v12数据集由LeRobot平台构建，专注于记录Franka机器人执行多样化插孔操作的过程。该数据集收录了超过1200个完整操作序列，涵盖26种不同任务，旨在为机器人模仿学习与强化学习算法提供高质量、多模态的真实世界交互数据。其构建反映了当前机器人学从仿真环境向复杂物理世界迁移的研究趋势，通过整合机器人末端执行器的笛卡尔空间位姿、速度以及双视角视觉观测，为开发能够适应不确定性与接触力变化的智能控制策略奠定了数据基础。

当前挑战

该数据集致力于解决机器人灵巧操作中插孔任务的泛化与鲁棒性挑战，其核心在于如何让机器人从演示数据中学习，以应对孔洞位置、姿态的微小变化以及接触过程中的复杂力学交互。在构建过程中，挑战主要集中于多模态数据的高效同步与对齐，确保机器人的状态观测、动作指令与视觉流在时间上精确一致。同时，在真实物理系统中大规模采集数据需克服硬件噪声、环境干扰以及任务执行失败的风险，保证数据覆盖足够的任务变体以支撑模型泛化，并需设计高效的数据存储格式以管理庞大的视频与状态序列。

常用场景

经典使用场景

在机器人操作领域，jsi_franka_peg_in_hole_v12数据集为机器人灵巧操作任务提供了丰富的实验数据。该数据集聚焦于经典的“插孔”任务，通过Franka机器人执行精细的插拔动作，涵盖了多种姿态和力控场景。研究者利用其多模态观测数据，包括机器人末端执行器的笛卡尔位置、旋转六维表示、速度信息以及双视角视觉图像，能够训练和验证模仿学习、强化学习等算法在复杂接触环境下的性能。数据集的高帧率视频和精确的状态记录为算法开发提供了真实世界的动态交互轨迹，成为机器人技能学习领域的重要基准。

解决学术问题

该数据集有效应对了机器人操作中因接触不确定性带来的学术挑战。传统机器人控制方法在应对非结构化环境时，往往难以处理插孔任务中的微小对准误差和接触力变化。jsi_franka_peg_in_hole_v12通过提供大量真实机器人执行数据，使得数据驱动的学习方法能够直接从交互经验中提取策略，从而解决基于模型的控制器设计复杂、适应性差的问题。其意义在于推动了从仿真到实物的迁移研究，降低了机器人技能获取的工程门槛，并为具身智能研究提供了可重复的实验平台。

衍生相关工作

围绕该数据集，机器人学习社区已衍生出多项经典研究工作。这些工作主要集中在利用其多模态序列数据进行端到端策略学习，例如开发基于Transformer的序列模型来预测机器人动作，或结合视觉预训练模型提升状态表示能力。部分研究进一步探索了数据高效利用方法，如通过离线强化学习从数据集中提取鲁棒策略，或进行模拟到真实的域适应。这些衍生工作不仅验证了数据集的质量，也推动了机器人操作算法在样本效率、泛化性和安全性方面的进步，形成了持续的技术迭代生态。