real_franka_kitchen_2

该数据集是通过LeRobot创建的，主要用于机器人技术领域。数据集包含87个episodes，19426帧数据，14个任务。数据包括图像（250x250x3）、状态（7维浮点数）、动作（8维浮点数）等多种特征，格式为parquet文件。数据集的结构和特征详细信息可以在meta/info.json中找到。

This dataset was developed using LeRobot, and is primarily targeted at the robotics domain. It includes 87 episodes, 19426 frames of data, and covers 14 distinct tasks. The dataset contains various features such as images (250x250x3), 7-dimensional floating-point states, 8-dimensional floating-point actions, and more, stored in Parquet file format. Detailed information about the dataset's structure and features can be found in meta/info.json.

原始信息汇总

数据集概述

基本信息

• 名称: real_franka_kitchen_2
• 许可证: apache-2.0
• 任务类别: robotics
• 标签: LeRobot, real_franka_kitchen_2, panda, rlds

数据集描述

• 创建工具: LeRobot
• 主页: [More Information Needed]
• 论文: [More Information Needed]

数据集结构

• 配置名称: default
• 数据文件: data//.parquet
• 元数据文件: meta/info.json

元数据详情

• 代码库版本: v2.0
• 机器人类型: panda
• 总集数: 87
• 总帧数: 19426
• 总任务数: 14
• 总视频数: 0
• 总块数: 1
• 块大小: 1000
• 帧率: 10 fps
• 数据分割:
  • 训练集: 0:87

数据路径

• 数据路径模板: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径模板: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

• image_0:
  • 数据类型: image
  • 形状: [250, 250, 3]
  • 维度名称: height, width, channel
• image_1:
  • 数据类型: image
  • 形状: [250, 250, 3]
  • 维度名称: height, width, channel
• state:
  • 数据类型: float32
  • 形状: [7]
  • 维度名称: state
• actions:
  • 数据类型: float32
  • 形状: [8]
  • 维度名称: actions
• timestamp:
  • 数据类型: float32
  • 形状: [1]
  • 维度名称: null
• frame_index:
  • 数据类型: int64
  • 形状: [1]
  • 维度名称: null
• episode_index:
  • 数据类型: int64
  • 形状: [1]
  • 维度名称: null
• index:
  • 数据类型: int64
  • 形状: [1]
  • 维度名称: null
• task_index:
  • 数据类型: int64
  • 形状: [1]
  • 维度名称: null

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作领域，真实环境下的数据采集对于模型泛化能力至关重要。real_franka_kitchen_2数据集通过LeRobot平台构建，利用Franka Panda机械臂在厨房场景中执行多种任务，系统记录操作过程。数据以RLDS格式组织，包含87个完整交互序列，总计19426帧观测数据，涵盖14项不同任务。采集过程以10Hz频率同步记录双视角图像、机器人状态及动作指令，并以Parquet文件格式高效存储，确保了数据的时序一致性与完整性。

特点

该数据集在机器人学习领域展现出鲜明的多模态特性，其核心在于融合了视觉感知与运动控制信息。数据集提供双摄像头视角的RGB图像，分辨率均为250×250像素，同步捕获操作场景的立体视觉信息。机器人状态以7维浮点向量表征关节位姿，动作空间则定义为8维连续控制指令。时序信息通过时间戳与帧索引精确标注，支持长序列决策建模。数据划分上，所有87个交互序列均用于训练，未预设独立测试集，这要求使用者采用适当验证策略以评估模型性能。

使用方法

为有效利用该数据集进行机器人技能学习研究，建议遵循结构化加载流程。通过HuggingFace数据集库可直接访问数据，每个交互序列以Parquet文件形式存储，内含图像、状态、动作及元数据字段。研究者可依据任务索引筛选特定操作类型，或按帧序列构建状态-动作对用于模仿学习。由于数据集未包含视频文件，视觉信息需从图像字段直接解码。在模型训练前，建议对状态与动作数据进行归一化处理，并考虑图像增强技术以提升视觉特征的鲁棒性。数据集适用于端到端策略学习、行为克隆及离线强化学习等研究范式。

背景与挑战

背景概述

在机器人学习领域，真实世界交互数据的稀缺性长期制约着模仿学习与强化学习算法的实际部署。real_franka_kitchen_2数据集应运而生，由HuggingFace的LeRobot项目团队构建，专注于采集Franka Panda机械臂在厨房场景下的多任务操作序列。该数据集以Apache 2.0协议开源，包含87条轨迹、19426帧数据，覆盖14项厨房任务，其核心在于通过真实物理交互记录状态、动作与视觉观测，为机器人泛化能力研究提供高保真基准。

当前挑战

该数据集致力于解决机器人操作任务中跨场景泛化与长期序列决策的难题，其挑战体现在多模态数据对齐的复杂性，如250x250像素的双视角图像与7维状态、8维动作序列的精确同步。构建过程中面临真实环境数据采集的固有困难，包括机械臂控制噪声、光照变化干扰以及长周期任务中轨迹中断的修复，这些因素共同增加了数据清洗与标注的工程负担。

常用场景

经典使用场景

在机器人学习领域，real_franka_kitchen_2数据集以其真实世界厨房环境下的机械臂操作数据，为模仿学习与强化学习算法提供了宝贵的训练资源。该数据集通过记录Franka Panda机械臂执行14种不同厨房任务的过程，捕捉了包括双视角图像、机械臂状态及动作序列在内的多模态信息，使得研究者能够在接近实际应用的复杂场景中，开发和验证机器人控制策略的泛化能力与鲁棒性。

解决学术问题

该数据集有效应对了机器人学中样本效率低下与仿真到现实迁移困难的经典挑战。通过提供高质量的真实世界交互数据，它支持了无需昂贵物理模拟或大量试错的离线强化学习方法研究，促进了在非结构化环境中学习复杂操作技能的发展。其结构化记录方式有助于深入分析动作序列与状态变化之间的关联，为理解机器人决策过程的可解释性奠定了数据基础。

衍生相关工作

围绕该数据集，已衍生出多项聚焦于机器人技能学习的经典研究。例如，结合序列建模技术预测机械臂动作轨迹，或利用视觉语言模型理解任务指令以生成控制策略。这些工作不仅扩展了数据集的利用维度，还推动了跨模态表示学习在机器人领域的应用，为构建通用型机器人操作框架提供了实验验证平台。