petner

该数据集是使用LeRobot创建的机器人相关数据集，适用于机器人技术领域的研究和应用。数据集包含372个episode，总计198002帧，涵盖9种不同的任务。数据以parquet格式存储，总数据文件大小为100MB，视频文件大小为200MB，帧率为30fps。数据集的结构包括动作数据（6个关节位置）、观察数据（6个关节位置状态和三个视角的图像数据：手腕、左、右摄像头，分辨率均为480x640，RGB三通道），以及时间戳、帧索引、episode索引、任务索引等元数据。所有图像数据采用AV1编码，yuv420p像素格式，无音频。数据集采用Apache 2.0许可证，但缺少相关论文和引文信息。

原始信息汇总

数据集概述

基本信息

• 数据集名称: petner
• 发布者: ddubbae
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 创建工具: 使用 LeRobot 创建。

数据集规模与结构

• 总情节数: 450
• 总帧数: 250,223
• 总任务数: 9
• 数据块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 帧率: 30 FPS
• 数据格式: Parquet 文件
• 数据路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 数据划分: 全部数据（第0至450个情节）用于训练。

数据特征

动作空间

• 特征名: action
• 数据类型: float32
• 形状: [6]
• 描述: 包含6个关节的位置指令，具体为：
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

状态观测

• 特征名: observation.state
• 数据类型: float32
• 形状: [6]
• 描述: 包含6个关节的当前位置状态，具体为：
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

图像观测

所有图像观测均为视频格式，帧尺寸为 480x640，3个颜色通道，使用 AV1 编码，像素格式为 yuv420p，不包含深度信息，无音频。

1. 手腕摄像头图像

   • 特征名: observation.images.wrist
   • 数据类型: video
   • 形状: [480, 640, 3]

2. 左侧摄像头图像

   • 特征名: observation.images.left
   • 数据类型: video
   • 形状: [480, 640, 3]

3. 右侧摄像头图像

   • 特征名: observation.images.right
   • 数据类型: video
   • 形状: [480, 640, 3]

元数据索引

• 时间戳: timestamp (float32, 形状 [1])
• 帧索引: frame_index (int64, 形状 [1])
• 情节索引: episode_index (int64, 形状 [1])
• 全局索引: index (int64, 形状 [1])
• 任务索引: task_index (int64, 形状 [1])

机器人信息

• 机器人类型: so_follower
• 代码库版本: v3.0

引用信息

• 主页: [More Information Needed]
• 论文: [More Information Needed]
• BibTeX 引用: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人学习领域，数据集的构建是推动算法发展的基石。Petner数据集依托LeRobot平台精心构建，通过记录真实机器人操作任务生成多模态数据。该数据集包含450个完整任务片段，总计超过25万帧数据，以30帧每秒的速率采集。数据以分块Parquet文件形式存储，每块约1000帧，便于高效存取与处理。机器人状态与动作信息以浮点数组记录，同时整合了手腕、左、右三个视角的高清视频流，形成了结构化的时空序列，为模仿学习与强化学习研究提供了丰富素材。

特点

Petner数据集展现出鲜明的多模态与高维度特性。其核心在于同步捕获机器人的关节位置状态与多视角视觉观测，实现了 proprioceptive 与 exteroceptive 信号的紧密对齐。数据集涵盖了9种不同任务，动作空间定义了6个自由度的关节位置控制。视觉数据以三路480x640分辨率的彩色视频流呈现，采用先进的AV1编码格式，在保证视觉保真度的同时优化了存储效率。这种状态-动作-观测的多层次数据组织，为端到端策略学习与感知-控制联合建模提供了理想实验环境。

使用方法

对于研究者而言，Petner数据集的使用遵循清晰的数据加载范式。数据集已预分为训练集，可通过标准数据加载库读取Parquet格式文件。每个数据样本包含时间戳、帧索引与任务索引等元数据，便于按片段或任务进行检索。用户可提取关节状态作为观测，对应动作作为监督信号，并加载关联的视频帧进行视觉分析。该数据集适用于训练机器人策略模型、进行行为克隆或作为离线强化学习的基准，其统一的数据接口简化了预处理流程，使研究者能专注于算法设计与验证。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习的研究依赖于高质量、大规模的真实世界交互数据集。petner数据集由HuggingFace的LeRobot项目创建，专注于机器人操作任务的数据收集，其核心研究问题在于如何通过多模态观测数据（如关节状态与多视角视频）来训练机器人执行复杂的序列化任务。该数据集涵盖了9种不同任务，包含超过25万帧的交互记录，为机器人策略学习提供了宝贵的实证基础，推动了从仿真到真实环境迁移的研究进展。

当前挑战

petner数据集旨在解决机器人操作中的模仿学习与策略泛化问题，其挑战在于如何从高维视觉与状态数据中提取有效的动作表示，并适应动态的真实环境变化。在构建过程中，数据集面临多传感器数据同步、大规模视频存储与高效编码的技术难题，同时需确保数据标注的准确性与任务多样性，以支持鲁棒且可扩展的机器人学习模型训练。

常用场景

经典使用场景

在机器人学习领域，petner数据集以其丰富的多视角视觉与关节状态数据，为模仿学习算法的训练与评估提供了经典场景。该数据集记录了机器人执行多种任务时的连续动作序列，结合手腕、左、右三个摄像头的实时视频流，使得研究者能够深入分析机器人在复杂环境中的行为模式。通过高帧率的视频与精确的关节位置信息，该数据集常用于构建端到端的策略网络，模拟人类示教过程，从而优化机器人的动作生成与任务完成能力。

衍生相关工作

围绕petner数据集，已衍生出多项经典研究工作，特别是在机器人视觉运动策略学习方面。这些工作利用数据集的多模态特性，开发了先进的深度神经网络架构，如结合卷积神经网络与循环网络的模型，以处理时序视觉与动作数据。此外，该数据集还激发了关于跨任务泛化、少样本学习及迁移学习的研究，为机器人领域的算法创新与性能提升提供了重要支撑。

数据集最近研究

最新研究方向

在机器人学习领域，多模态数据融合正成为推动具身智能发展的关键驱动力。petner数据集以其丰富的关节状态与多视角视觉观测，为模仿学习与强化学习算法提供了高质量的仿真与真实世界交互记录。当前研究热点聚焦于利用此类数据训练端到端的视觉运动策略模型，旨在提升机器人在复杂环境中的泛化能力与任务适应性。随着LeRobot等开源平台的普及，数据集在促进社区协作、加速机器人基础模型研发方面展现出深远影响，为家庭服务与工业自动化场景的智能化演进奠定了坚实的数据基石。