lekiwi_plug_docking_phase

该数据集是一个机器人学领域的数据集，使用LeRobot工具创建，包含106个完整的情节（episodes），总计31755帧数据，专注于单一任务。数据以分块形式组织，每块包含1000帧。数据集总大小约为100MB（数据文件）和500MB（视频文件）。数据采集自一个名为lekiwi_client的机器人平台，帧率为30帧每秒。数据集目前仅包含训练集划分。数据集采用多模态结构，包含以下核心字段：1. 动作（action）：一个9维浮点向量，描述了机器人的关节位置（包括肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置）以及移动基座的线速度（x, y）和角速度（theta）。2. 观测（observation）：状态（state）：一个9维浮点向量，其内容与动作向量完全相同，反映了机器人的当前状态；图像（images）：包含两个视角的视频流。`front`为前置摄像头视图，`wrist`为腕部摄像头视图。两个视频流的分辨率均为640x480像素，3通道（RGB），使用AV1编解码器编码，帧率为30fps。3. 元数据索引：包括时间戳（timestamp）、帧索引（frame_index）、情节索引（episode_index）、全局索引（index）和任务索引（task_index），用于定位和组织数据。数据以Parquet文件格式存储，视频文件则以MP4格式单独存储。该数据集适用于机器人模仿学习、强化学习、视觉-动作策略学习等任务的研究与开发。

原始信息汇总

数据集概述

• 数据集名称：lekiwi_plug_docking_phase
• 许可证：Apache-2.0
• 任务类别：机器人学（Robotics）
• 标签：LeRobot

数据集规模

指标	数值
总片段数	106
总帧数	31,755
总任务数	1
帧率（FPS）	30
数据文件大小	100 MB
视频文件大小	500 MB

数据划分

• 训练集：包含全部 106 个片段（索引 0:106）

数据集特征

该数据集包含以下特征字段：

1. action（动作）

   • 类型：float32，形状：[9]
   • 包含：机器人手臂各关节位置（肩关节、肘关节、腕关节、夹爪）及底盘速度（x、y、theta）

2. observation.state（观测状态）

   • 类型：float32，形状：[9]
   • 与动作字段内容相同，包含机器人手臂和底盘状态

3. observation.images.front（前方摄像头图像）

   • 类型：视频，分辨率：480×640，3 通道
   • 编码格式：AV1，帧率：30 FPS

4. observation.images.wrist（腕部摄像头图像）

   • 类型：视频，分辨率：480×640，3 通道
   • 编码格式：AV1，帧率：30 FPS

5. timestamp（时间戳）

   • 类型：float32，形状：[1]

6. frame_index（帧索引）

   • 类型：int64，形状：[1]

7. episode_index（片段索引）

   • 类型：int64，形状：[1]

8. index（全局索引）

   • 类型：int64，形状：[1]

9. task_index（任务索引）

   • 类型：int64，形状：[1]

机器人类型

• 机器人型号：lekiwi_client

数据存储格式

• 数据文件：Parquet 格式，按 chunk 和 file 组织
• 视频文件：MP4 格式，按 video_key、chunk 和 file 组织

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于机器人插拔阶段的精细操作任务。数据采集通过lekiwi_client机器人平台完成，共收集106个完整回合（episode），总计31755帧时序数据，涵盖单一任务场景。数据以parquet格式存储于chunk分块文件中，每块容量为1000帧，同时配有高清视频文件。特征空间包含9维动作与状态向量，分别对应机械臂关节位置、夹爪状态及底盘速度，并辅以两个视角（前视与腕部）的480×640分辨率视频流，帧率为30FPS。

特点

该数据集最显著的特点在于其多模态同步采集能力，将低维机器人本体状态（关节角度、末端速度）与高维视觉观测（RGB图像）紧密结合，为模仿学习提供完备的输入输出对。所有数据严格对齐时间戳与帧索引，保证动作序列与传感器数据的一致性。数据集已预分为训练集（全部106个回合），简化了加载流程。此外，视频采用AV1编码压缩，在维持画质的同时有效减小存储体积，便于大规模分布式训练。

使用方法

使用该数据集时，可借助LeRobot库的DataLoader模块直接加载parquet文件与关联视频，通过配置meta/info.json中的元信息自动构建批次。用户需关注特征字典中的'action'与'observation.state'维度（同为9维实值向量），以及'observation.images'下的前视和腕部图像。典型应用场景为训练机器人插拔动作的模仿学习模型，输入为状态与图像序列，输出为连续动作指令。建议对状态数据进行归一化处理，并利用帧索引分段采样以增强数据效率。

背景与挑战

背景概述

在机器人操作领域，精确的插接与拔除动作（docking）是实现自动化装配、物流分拣等任务的核心环节。该数据集由LeRobot社区创建，发布于Apache-2.0许可下，聚焦于lekiwi移动操作臂的插接相位（plug docking phase）行为。通过采集106个示范轨迹、总计31755帧数据，整合了9维动作空间（包括机械臂关节角度与移动底盘速度）以及来自前向和腕部的双视角视频流（640×480分辨率，30 FPS），为研究精细操作学习提供了标准化基准。该数据集填补了移动操作机器人在受限空间内执行高精度插接任务的公开数据空白，其模块化结构（如分块存储parquet与mp4文件）便于规模化训练和复现，推动了模仿学习与强化学习在工业级操作场景中的应用。

当前挑战

该数据集所解决的领域挑战在于，插接任务需要机械臂与移动底盘协同控制，同时应对视觉遮挡、接触力反馈缺失和运动学奇异性——传统方法难以同时建模高维动作与视觉状态。构建过程中，需克服真实机器人演示采集的高昂成本与安全性风险，例如确保106个轨迹在重复插拔中保持一致性，避免磨损或碰撞。此外，视频存储采用AV1编解码以压缩500MB视频数据，但需平衡画质与帧率；动作与状态空间均包含9维向量，如何对齐视觉观察与底盘全局坐标（x, y, theta）的时间戳也构成挑战。这些约束使得数据集在泛化到新环境布局或不同插接角度时面临域适应难题。

常用场景

经典使用场景

在机器人操作与自动化领域，lekiwi_plug_docking_phase 数据集为研究移动机械臂的自主插拔与对接任务提供了珍贵的多模态训练资源。该数据集包含106个示范轨迹，共计超过3万帧的高频采样数据，涵盖了从机械臂关节角度、夹爪状态到移动底盘线速度与角速度的完整动作序列。尤为突出的是，它同步采集了前置与腕部双视角RGB视频流，为基于视觉的模仿学习与强化学习算法提供了丰富的感知信息。研究者常借助此数据集训练机器人从示范中学习精确的末端执行器控制策略，尤其是在空间受限、对精度要求极高的插拔场景中，以理解连续动作与环境交互间的复杂映射关系。

解决学术问题

此数据集有效应对了机器人领域中技能泛化与精细操作策略学习的双重学术挑战。传统方法在解决类人插拔这类高精度任务时，往往受困于手工设计奖励函数的复杂性与任务特定性，导致模型泛化能力薄弱。通过对人类专家示范行为的捕捉与编码，lekiwi_plug_docking_phase 数据集为行为克隆、逆强化学习以及近年兴起的扩散策略等方法提供了基准测试平台。其意义在于推动了从静态任务编程向数据驱动的动态技能习得范式的转变，使研究者能够深入探索视觉运动策略在非结构化环境下的鲁棒性，为建立更具通用性的机器人操作智能奠定了数据基石。

衍生相关工作

围绕lekiwi_plug_docking_phase数据集所蕴含的精细操作与视觉运动耦合特性，学术界已衍生出多项创新性研究工作。基于该数据集，研究者探索了将扩散模型应用于机器人动作序列生成，即扩散策略，其通过学习从噪声到示范轨迹的去噪过程，显著提升了插拔动作的平滑度与成功率。另一脉络的工作聚焦于多模态融合，通过将腕部与前置摄像头的视觉特征进行跨模态对齐，优化了策略在遮挡情况下的鲁棒性。此外，还有学者尝试利用该数据集构建部分可观测马尔可夫决策过程模型，并结合潜变量推理来捕捉人类示范中的隐式意图，从而推动了模仿学习在复杂接触任务中的理论发展。