franka_sim_pick_lift_1

该数据集是一个机器人相关的数据集，包含30个episodes，1998帧数据，1个任务。数据以parquet格式存储，包含动作（delta_x, delta_y, delta_z, gripper）、奖励（reward）、完成状态（done）、离散惩罚（discrete_penalty）、观测图像（front和wrist摄像头）、状态（state）、时间戳（timestamp）、帧索引（frame_index）、episode索引（episode_index）、索引（index）和任务索引（task_index）等多种特征。视频数据以mp4格式存储，帧率为10fps，分辨率为128x128。

原始信息汇总

数据集概述

基本信息

• 数据集名称: franka_sim_pick_lift_1
• 发布者: Lotussheep
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 创建工具: 使用 LeRobot 创建。

数据集规模与结构

• 总情节数: 30
• 总帧数: 1998
• 总任务数: 1
• 数据块大小: 1000
• 数据文件总大小: 100 MB
• 视频文件总大小: 200 MB
• 帧率: 10 FPS
• 数据分割: 所有数据（索引0至30）均用于训练。

数据文件与路径

• 数据文件格式: Parquet
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作空间

• 特征名: action
• 数据类型: float32
• 形状: [4]
• 维度说明:
  • 0: delta_x
  • 1: delta_y
  • 2: delta_z
  • 3: gripper

状态与奖励

• 特征名: next.reward
  • 数据类型: float32
  • 形状: [1]
• 特征名: next.done
  • 数据类型: bool
  • 形状: [1]
• 特征名: complementary_info.discrete_penalty
  • 数据类型: float32
  • 形状: [1]
  • 维度名称: ["discrete_penalty"]

观测空间

• 特征名: observation.images.front
  • 数据类型: video
  • 形状: [3, 128, 128]
  • 维度名称: ["channels", "height", "width"]
  • 视频信息:
    • 高度: 128
    • 宽度: 128
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 10
    • 通道数: 3
    • 包含音频: false
• 特征名: observation.images.wrist
  • 数据类型: video
  • 形状: [3, 128, 128]
  • 维度名称: ["channels", "height", "width"]
  • 视频信息: 与 observation.images.front 相同。
• 特征名: observation.state
  • 数据类型: float32
  • 形状: [18]

索引与元数据

• 特征名: timestamp
  • 数据类型: float32
  • 形状: [1]
• 特征名: frame_index
  • 数据类型: int64
  • 形状: [1]
• 特征名: episode_index
  • 数据类型: int64
  • 形状: [1]
• 特征名: index
  • 数据类型: int64
  • 形状: [1]
• 特征名: task_index
  • 数据类型: int64
  • 形状: [1]

附加信息

• 代码库版本: v3.0
• 机器人类型: 未指定
• 主页: 未提供
• 论文: 未提供
• 引用信息: 未提供

搜集汇总

数据集介绍

构建方式

在机器人操作任务仿真领域，franka_sim_pick_lift_1数据集依托LeRobot平台构建而成。该平台通过模拟环境生成机械臂执行拾取与抬升动作的交互数据，具体记录了30个完整任务片段，总计1998帧观测信息。数据以分块形式存储于Parquet文件中，每块容量为1000帧，确保了高效的数据管理与读取。仿真过程以每秒10帧的速率采集前端与腕部摄像头视频，同时同步记录机械臂的状态、动作指令及任务奖励信号，从而形成一套结构化的时序交互轨迹。

特点

该数据集在机器人视觉与状态融合表征方面展现出显著特点。其观测部分包含分辨率128x128的三通道前端与腕部视角视频，以AV1编码压缩存储，兼顾了视觉细节与存储效率。动作空间定义为四维连续向量，涵盖末端执行器在三维空间中的位移及夹爪开合控制。此外，数据集提供了18维的机器人状态向量、即时奖励、任务完成标志及离散惩罚等互补信息，并嵌入了帧索引、片段索引等元数据，为模仿学习与强化学习算法提供了多模态、细粒度的训练基础。

使用方法

研究者可利用该数据集进行机器人操作策略的离线训练与验证。数据按训练集划分，涵盖全部30个任务片段，可通过加载Parquet文件直接访问各帧的观测、动作及奖励信息。典型应用流程包括：从指定路径读取分块数据，解析图像、状态与动作张量，进而构建状态-动作对序列用于行为克隆或离线强化学习。视频数据可通过对应MP4文件路径进行解码，结合时间戳与帧索引实现多模态对齐，便于算法在仿真环境中学习拾取与抬升的鲁棒控制策略。

背景与挑战

背景概述

在机器人操作领域，仿真数据集对于推动机器人学习算法的进步具有关键作用。franka_sim_pick_lift_1数据集由HuggingFace的LeRobot项目创建，旨在为机器人抓取与提升任务提供高质量的仿真训练数据。该数据集通过模拟Franka机械臂在虚拟环境中的操作，记录了包括前视与腕部视觉观察、机器人状态以及动作指令在内的多模态信息，为研究机器人强化学习与模仿学习提供了重要基础。其结构化设计支持高效的数据加载与处理，有助于加速机器人技能获取算法的开发与验证。

当前挑战

该数据集致力于解决机器人操作中抓取与提升任务的泛化性与鲁棒性挑战，要求模型能够从有限的仿真数据中学习到可迁移至真实世界的策略。构建过程中面临的主要挑战包括仿真环境与真实物理世界之间的领域差距，以及多模态数据（如视觉图像与状态向量）的同步与对齐问题。此外，数据集规模相对较小，仅包含30个训练片段，可能限制模型在复杂场景下的学习能力，需要进一步扩展以增强其代表性和实用性。

常用场景

经典使用场景

在机器人学习领域，仿真环境为算法验证提供了安全且高效的平台。franka_sim_pick_lift_1数据集通过模拟Franka机械臂执行拾取与抬升任务，成为强化学习与模仿学习算法的经典测试基准。研究者利用其包含的多视角图像、状态向量及动作序列，训练智能体在虚拟环境中掌握精细操作技能，为后续真实机器人部署奠定基础。

解决学术问题

该数据集有效应对了机器人操作任务中样本效率低下与安全风险高的核心挑战。通过提供结构化的仿真交互数据，它支持端到端策略学习、视觉运动控制建模以及奖励函数设计等研究。其意义在于降低了实验成本，加速了算法迭代，并为跨仿真到现实的迁移学习提供了宝贵的数据支撑，推动了机器人自主操作能力的学术进展。

衍生相关工作

围绕该数据集衍生的经典工作主要集中在仿真到现实的策略迁移与多模态学习框架。例如，结合深度强化学习与视觉表征的方法，利用其图像与状态数据进行预训练，再通过领域自适应技术迁移至实体Franka机械臂。此外，该数据集也常被用于基准测试，催生了在样本效率、泛化能力等方面的一系列改进算法与比较研究。