lekiwi_plug_self_in

这是一个用于机器人任务的数据集，具体包含52个集，共有139927帧，只有一个任务。数据集以Parquet格式存储，并包含相应的视频文件。数据集提供了多种特征，包括动作、观察状态、正面和手腕处的图像等，所有视频的帧率为30fps。

This is a dataset for robotic tasks, which consists of 52 collections with a total of 139,927 frames and targets a single task. The dataset is stored in Parquet format and includes corresponding video files. It provides multiple features including actions, observation states, front-facing and wrist-mounted images, among others. All videos have a frame rate of 30 fps.

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

数据集规模

• 总任务数: 1
• 总回合数: 52
• 总帧数: 139,927
• 数据块大小: 1000
• 帧率: 30 FPS

数据存储

• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 数据文件格式: Parquet
• 视频文件格式: MP4
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据集划分

• 训练集: 全部52个回合 (0:52)

数据特征结构

动作特征 (action)

• 数据类型: float32
• 维度: [9]
• 特征名称:
  • arm_shoulder_pan.pos
  • arm_shoulder_lift.pos
  • arm_elbow_flex.pos
  • arm_wrist_flex.pos
  • arm_wrist_roll.pos
  • arm_gripper.pos
  • x.vel
  • y.vel
  • theta.vel

观测状态 (observation.state)

• 数据类型: float32
• 维度: [9]
• 特征名称: 与动作特征相同

前视图像观测 (observation.images.front)

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频属性:
  • 高度: 480像素
  • 宽度: 640像素
  • 编解码器: AV1
  • 像素格式: yuv420p
  • 非深度图
  • 帧率: 30 FPS
  • 通道数: 3
  • 无音频

腕部图像观测 (observation.images.wrist)

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频属性: 与前视图像相同

元数据特征

• 时间戳 (timestamp): float32, 维度[1]
• 帧索引 (frame_index): int64, 维度[1]
• 回合索引 (episode_index): int64, 维度[1]
• 索引 (index): int64, 维度[1]
• 任务索引 (task_index): int64, 维度[1]

技术信息

• 代码库版本: v3.0
• 机器人类型: lekiwi_client

搜集汇总

数据集介绍

构建方式

在机器人技术领域，数据集的构建质量直接关系到模型训练的可靠性。lekiwi_plug_self_in数据集依托LeRobot框架，通过lekiwi_client机器人平台采集了52个完整任务序列，涵盖139927帧数据。数据以分块存储方式组织，每个块包含1000帧，采用Parquet格式高效保存观测与动作信息，同时配套MP4视频文件记录机器人前视与腕部视角的视觉反馈。

特点

该数据集在机器人操作任务中展现出多维融合特性，其动作空间包含9个自由度关节位置与末端速度向量，观测状态则同步匹配相同的9维机械臂构型。视觉模态提供480x640分辨率的前置与腕部摄像头视频流，以30帧率捕捉环境动态，所有数据均附带时间戳与任务索引，支持精细的时序分析与任务解构。

使用方法

研究者可通过LeRobot代码库加载该数据集，利用预定义的数据路径模板访问分块存储的Parquet文件。训练时可提取动作指令、关节状态及双视角图像序列，结合帧索引与任务标签构建端到端学习管道。数据集完全采用Apache-2.0许可，支持机器人模仿学习、行为克隆等算法的开发与验证。

背景与挑战

背景概述

机器人操作数据集lekiwi_plug_self_in由LeRobot平台构建，专注于机械臂自主插拔任务的研究。该数据集通过整合多模态传感器数据，包括关节位置、速度信息及双视角视觉反馈，为机器人精细操作策略的端到端学习提供了重要支撑。其设计目标在于解决现实场景中机械臂与环境交互的复杂动力学建模问题，对推动具身智能在工业自动化领域的发展具有显著意义。

当前挑战

该数据集需应对机器人操作领域的两类核心挑战：在任务层面，机械臂插拔动作需克服高精度轨迹规划与动态环境适配的耦合难题；在构建层面，多传感器时序同步、大规模视频数据压缩存储以及动作-观测对齐的标注一致性成为技术瓶颈。此外，真实物理交互中的不确定性和数据采集系统的实时性要求进一步增加了数据集构建的复杂性。

常用场景

经典使用场景

在机器人操作学习领域，该数据集通过整合机械臂关节位置、速度控制及多视角视觉观测，为模仿学习与强化学习算法提供了丰富训练素材。其结构化动作序列与同步视觉反馈，使研究者能够构建端到端策略网络，模拟真实环境中的插拔操作任务，推动机器人精细操作能力的发展。

解决学术问题

该数据集有效解决了机器人领域动作泛化与多模态感知融合的经典难题。通过提供标准化动作空间与视觉观测对齐的时序数据，降低了动态环境下策略学习的样本复杂度，为研究跨场景操作迁移、视觉-运动协同控制等课题提供了基准验证平台，显著提升了算法在真实物理系统中的适应性。

衍生相关工作

该数据集催生了多项机器人学习领域的创新研究，包括基于时空注意力的操作策略网络、多视角视觉特征融合模型等。相关成果通过扩展分层强化学习框架与跨模态表示学习方法，进一步推动了机器人操作技能的可复现性与泛化能力评估体系的完善。