jsi_franka_peg_in_hole_v2

该数据集由LeRobot项目创建，主要用于机器人技术领域。数据集采用Apache-2.0许可证，包含27个episodes、700帧数据和13个任务。数据以parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB，帧率为15fps。数据集包含训练集分割（0:27）。数据特征包括动作（7个浮点型参数，如工具相对位置和旋转）、观测状态（9个浮点型参数，如测量位置和旋转6D）、两个图像观测（480x640x3的视频格式，AV1编码，无音频）以及时间戳、帧索引、episode索引、任务索引等辅助信息。数据集适用于机器人控制、行为学习等任务。

原始信息汇总

数据集概述

基本信息

• 数据集名称： jsi_franka_peg_in_hole_v2
• 创建工具： LeRobot
• 许可证： Apache-2.0
• 任务类别： 机器人学

数据集规模

• 总情节数： 27
• 总帧数： 700
• 总任务数： 13
• 数据文件大小： 100 MB
• 视频文件大小： 200 MB
• 帧率： 15 FPS
• 数据块大小： 1000
• 代码库版本： v3.0
• 机器人类型： robotblockset_robot

数据划分

• 训练集： 包含所有27个情节

数据结构与特征

数据以Parquet文件格式存储，视频以MP4格式存储。

• 数据文件路径模式： data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式： videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

特征描述

1. 动作

   • 数据类型： float32
   • 形状： [7]
   • 特征名：
     • cart_pos_x_tool_commanded_rel
     • cart_pos_y_tool_commanded_rel
     • cart_pos_z_tool_commanded_rel
     • cart_rot_x_tool_commanded_rel
     • cart_rot_y_tool_commanded_rel
     • cart_rot_z_tool_commanded_rel
     • gripper

2. 观测状态

   • 数据类型： float32
   • 形状： [9]
   • 特征名：
     • cart_pos_x_measured
     • cart_pos_y_measured
     • cart_pos_z_measured
     • cart_rot6d_0_measured
     • cart_rot6d_1_measured
     • cart_rot6d_2_measured
     • cart_rot6d_3_measured
     • cart_rot6d_4_measured
     • cart_rot6d_5_measured

3. 观测图像

   • 特征1： observation.images.image
   • 特征2： observation.images.image2
   • 数据类型： video
   • 形状： [480, 640, 3]
   • 维度名： height, width, channels
   • 视频信息：
     • 高度：480像素
     • 宽度：640像素
     • 编解码器：av1
     • 像素格式：yuv420p
     • 非深度图
     • 帧率：15 FPS
     • 通道数：3
     • 无音频

4. 索引与时间戳

   • 时间戳： 数据类型为float32，形状为[1]。
   • 帧索引： 数据类型为int64，形状为[1]。
   • 情节索引： 数据类型为int64，形状为[1]。
   • 索引： 数据类型为int64，形状为[1]。
   • 任务索引： 数据类型为int64，形状为[1]。

引用信息

• 主页： 未提供
• 论文： 未提供
• BibTeX引用格式： 未提供

搜集汇总

数据集介绍

构建方式

在机器人操作领域，jsi_franka_peg_in_hole_v2数据集通过LeRobot框架构建，专注于模拟Franka机械臂执行插孔任务的过程。数据采集涉及27个完整操作序列，总计700帧图像与状态记录，以每秒15帧的速率捕捉机械臂的实时动作。数据集以分块存储形式组织，每个数据块包含1000条记录，并以Parquet格式保存，确保了高效的数据读取与处理。

特点

该数据集融合了多模态观测信息，不仅包含机械臂末端执行器的笛卡尔位置与旋转六维姿态，还整合了双视角RGB视频流，每帧图像分辨率为640x480。动作空间涵盖七个维度，包括相对位置、旋转指令及夹爪状态，为模仿学习与强化学习算法提供了丰富的输入输出对应关系。数据集中明确标注了时间戳、帧索引与任务索引，支持精细的时序分析与任务泛化研究。

使用方法

研究人员可利用该数据集训练机器人插孔操作的策略模型，通过加载Parquet文件直接访问动作、状态与图像特征。数据集已预分为训练集，涵盖全部27个操作序列，适用于端到端的行为克隆或离线强化学习任务。结合LeRobot工具链，用户可便捷地可视化操作轨迹，复现实验环境，并基于多模态输入开发鲁棒的控制策略。

背景与挑战

背景概述

在机器人操作领域，精确执行装配任务如轴孔装配是衡量智能体灵巧性的关键基准。jsi_franka_peg_in_hole_v2数据集由LeRobot项目构建，专注于记录Franka机械臂执行轴孔装配操作的演示数据。该数据集旨在为模仿学习与强化学习算法提供高质量、多模态的训练资源，通过整合机械臂的末端执行器位姿、关节状态及双视角视觉观测，推动机器人自主操作技能的发展。尽管具体创建时间与核心研究人员信息尚未公开，但其依托开源社区力量，显著促进了机器人学习研究的可复现性与数据共享生态。

当前挑战

轴孔装配任务本身涉及高精度位姿控制与复杂接触动力学，要求算法在存在感知噪声和机械误差的情况下实现鲁棒操作。数据集构建过程中，需确保多模态数据的时间同步与空间标定，同时维持视觉与状态信息的高保真度。此外，有限的演示样本规模与任务多样性可能制约模型的泛化能力，而高效处理大规模视频流与状态序列也对存储与计算架构提出了挑战。

常用场景

经典使用场景

在机器人操作技能学习领域，jsi_franka_peg_in_hole_v2数据集以其精细的插孔任务演示，成为模仿学习与强化学习算法的经典测试平台。该数据集记录了Franka机械臂执行精密装配动作时的多模态观测数据，包括末端执行器的笛卡尔空间位姿、夹爪状态以及双视角视觉图像，为算法提供了丰富的状态-动作对应关系。研究者常利用此数据集训练端到端的策略网络，使机器人能够从视觉输入中直接推断出精确的运动指令，从而在无需复杂手工编程的情况下掌握插孔这一经典操作技能。

解决学术问题

该数据集有效应对了机器人学中关于复杂接触任务泛化性与数据效率的核心挑战。插孔操作涉及精确的几何对齐与力接触交互，传统方法依赖于精确的模型与环境参数，而数据驱动方法则受限于真实世界数据的稀缺性。本数据集通过提供高质量的真实机器人演示轨迹，为研究模仿学习中的分布偏移问题、强化学习中的稀疏奖励问题以及视觉-动作表征学习提供了基准。它使得学术界能够系统评估算法在接触式操作任务上的表现，推动了从仿真到实物的迁移学习研究。

衍生相关工作

围绕该数据集，衍生出了一系列专注于接触式操作的前沿研究。例如，基于此数据集的模仿学习工作探索了如何从少量演示中提取稳健的策略，并处理视觉观测中的遮挡与视角变化。在强化学习领域，研究者利用其作为离线强化学习的基准，评估算法从静态数据集中学习有效策略的能力。此外，该数据集也促进了多模态融合方法的发展，如何将视觉信息与本体感知信息协同，以生成更平滑、更安全的动作序列，成为相关工作的重点。