franka_sim_pick_lift_debugging

这是一个关于机器人任务的数据集，包含了机器人的状态、动作、奖励等信息，以及相关的视频数据。数据集共包含30个剧集，409帧，60个视频，分为训练集和测试集，其中训练集为前30个剧集。所有数据以Parquet格式存储，视频数据以av1编码的MP4格式存储。数据集遵循Apache-2.0许可。

This is a dataset focused on robotic tasks, which includes information such as robot states, actions, and rewards, alongside associated video data. The dataset contains a total of 30 episodes, 409 frames, and 60 videos, and is divided into a training set and a test set, where the training set consists of the first 30 episodes. All data is stored in Parquet format, while the video data is stored as MP4 files encoded with AV1. This dataset is licensed under the Apache-2.0 license.

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 代码库版本: v2.1

数据集结构

• 总情节数: 30
• 总帧数: 409
• 总任务数: 1
• 总视频数: 60
• 总块数: 1
• 块大小: 1000
• 帧率: 10 fps
• 分割: 训练集 (0:30)

数据文件

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

• observation.state:
  • 数据类型: float32
  • 形状: [18]
• action:
  • 数据类型: float32
  • 形状: [4]
  • 名称: delta_x_ee, delta_y_ee, delta_z_ee, gripper_delta
• next.reward:
  • 数据类型: float32
  • 形状: [1]
• next.done:
  • 数据类型: bool
  • 形状: [1]
• complementary_info.discrete_penalty:
  • 数据类型: float32
  • 形状: [1]
  • 名称: discrete_penalty
• observation.images.front:
  • 数据类型: video
  • 形状: [3, 128, 128]
  • 名称: channels, height, width
  • 视频信息:
    • 高度: 128
    • 宽度: 128
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 10 fps
    • 通道数: 3
    • 是否有音频: false
• observation.images.wrist:
  • 数据类型: video
  • 形状: [3, 128, 128]
  • 名称: channels, height, width
  • 视频信息:
    • 高度: 128
    • 宽度: 128
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 10 fps
    • 通道数: 3
    • 是否有音频: false
• timestamp:
  • 数据类型: float32
  • 形状: [1]
• frame_index:
  • 数据类型: int64
  • 形状: [1]
• episode_index:
  • 数据类型: int64
  • 形状: [1]
• index:
  • 数据类型: int64
  • 形状: [1]
• task_index:
  • 数据类型: int64
  • 形状: [1]

引用信息

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于机器人抓取与举升任务的仿真调试场景。通过30个完整交互序列的采集，共计409帧数据以10fps的采样频率存储，采用分块式结构组织，每个数据块包含1000帧容量。数据以Parquet格式保存，配套60段AV1编码的视觉记录，包含正面和腕部双视角的128×128分辨率RGB视频流，同步记录18维状态向量、4维动作空间及奖励信号等结构化信息。

使用方法

使用者可通过加载Parquet文件获取结构化交互数据，配合视频路径索引调用视觉观测。数据按训练集划分组织，每个episode对应独立的文件存储。特征字典中明确标注各字段的维度、数据类型及物理含义，如delta_x_ee表示末端执行器x轴位移增量。研究人员可基于状态-动作-奖励的数据三元组构建闭环控制模型，或利用双视角视频流开展视觉表征学习。

背景与挑战

背景概述

franka_sim_pick_lift_debugging数据集由LeRobot团队构建，专注于机器人仿真领域的抓取与举升任务调试。该数据集通过模拟环境中的机械臂操作，为机器人控制算法的开发与优化提供了丰富的实验数据。数据集包含30个完整操作序列，总计409帧数据，涵盖了机械臂末端执行器的运动轨迹、夹爪状态以及多视角视觉信息。其核心研究问题聚焦于如何在仿真环境中高效调试机器人抓取与举升任务的控制策略，为现实世界中的机器人操作任务提供可靠的算法验证平台。

当前挑战

该数据集面临的挑战主要集中在两个方面：领域问题方面，机器人抓取与举升任务需要处理高维状态空间中的连续控制问题，同时需克服仿真环境与现实世界间的领域差异；构建过程方面，数据采集需精确同步多模态传感器数据（如关节状态、视觉信息等），且仿真环境的物理参数校准与真实场景的匹配度直接影响数据的有效性。此外，动作空间的离散化表示与连续控制需求之间的矛盾也增加了算法设计的复杂度。

常用场景

经典使用场景

在机器人控制与仿真领域，franka_sim_pick_lift_debugging数据集主要应用于机械臂抓取与举升任务的算法调试与优化。该数据集通过记录机械臂末端执行器的运动轨迹、夹爪状态以及多视角视觉反馈，为研究人员提供了丰富的仿真环境交互数据。其结构化存储的观测状态、动作空间和奖励信号，特别适合用于强化学习算法的训练与验证。

解决学术问题

该数据集有效解决了机器人操作任务中样本效率低下和仿真-现实差距的学术难题。通过提供精确的关节状态信息和多模态传感器数据，研究人员能够深入分析机械臂在抓取过程中的动力学特性。数据集包含的离散惩罚信号为解决稀疏奖励问题提供了新的研究思路，推动了基于模型的强化学习算法在机器人控制领域的应用。

实际应用

在工业自动化场景中，该数据集可直接用于优化装配线上的物品抓取系统。其记录的视觉-动作配对数据能够训练出鲁棒性更强的抓取策略，显著降低传统示教编程的时间成本。物流仓储领域可利用该数据集开发智能分拣系统，通过仿真预训练大幅缩短实际部署时的调试周期。

数据集最近研究

最新研究方向

在机器人仿真与调试领域，franka_sim_pick_lift_debugging数据集为研究机器人抓取与举升任务中的动作规划与状态观测提供了重要支持。当前研究聚焦于如何利用该数据集中的多模态观测数据，包括前端和腕部摄像头采集的图像信息，结合机器人末端执行器的动作数据，优化强化学习算法在仿真环境中的训练效率。前沿探索方向涉及基于视觉的端到端策略学习，以及如何通过离散惩罚机制改进机器人动作的精确性和安全性。随着仿真到现实迁移学习需求的增长，该数据集在跨域策略泛化研究中的价值日益凸显。