lekiwi_plug_self_in_vol4

该数据集是使用LeRobot创建的，专注于机器人技术领域，采用Apache-2.0许可证。数据集包含76个总片段，135,896帧，涉及1个任务。数据以parquet格式存储，总数据文件大小为100MB，视频文件大小为500MB，帧率为30fps。数据集结构包括动作和观察状态，以及来自前部和腕部摄像头的图像。动作和观察状态均包含9个浮点型参数，分别对应机械臂各关节的位置和速度。图像数据为480x640分辨率的三通道视频，采用av1编码。数据集还包含时间戳、帧索引、片段索引、索引和任务索引等元数据。适用于机器人控制、行为学习等任务。

This dataset was created using LeRobot and focuses on the field of robotics, using the Apache-2.0 license. The dataset contains a total of 76 segments, 135,896 frames, and involves 1 task. The data is stored in parquet format, with a total data file size of 100MB and a video file size of 500MB, at a frame rate of 30fps. The dataset structure includes actions and observation states, as well as images from front and wrist cameras. Both actions and observation states contain 9 floating-point parameters, corresponding to the position and speed of each joint of the robotic arm. The image data is three-channel video with a resolution of 480x640, encoded in av1. The dataset also includes metadata such as timestamps, frame index, segment index, index, and task index. It is suitable for tasks such as robot control and behavior learning.

原始信息汇总

数据集概述

项目	内容
数据集名称	lekiwi_plug_self_in_vol4
数据集地址	https://huggingface.co/datasets/Lui3ui3ui/lekiwi_plug_self_in_vol4
许可证	Apache-2.0
任务类别	机器人学 (Robotics)
标签	LeRobot
创建工具	LeRobot (https://github.com/huggingface/lerobot)

数据集结构

属性	值
代码库版本	v3.0
机器人类型	lekiwi_client
总片段数	76
总帧数	135,896
总任务数	1
块大小	1000
数据文件大小	100 MB
视频文件大小	500 MB
帧率 (FPS)	30
数据分割	训练集: 片段 0 至 75

特征定义

特征名称	数据类型	形状	说明
action	float32	(9,)	动作：包含手臂关节位置 (5个) 和移动速度 (3个)，共9维
observation.state	float32	(9,)	观测状态：同样包含手臂关节位置 (5个) 和移动速度 (3个)，共9维
observation.images.front	video	(480, 640, 3)	前置摄像头视频，分辨率 480x640，RGB 3通道
observation.images.wrist	video	(480, 640, 3)	腕部摄像头视频，分辨率 480x640，RGB 3通道
timestamp	float32	(1,)	时间戳
frame_index	int64	(1,)	帧索引
episode_index	int64	(1,)	片段索引
index	int64	(1,)	索引
task_index	int64	(1,)	任务索引

视频编码信息

• 视频编码格式: AV1
• 像素格式: yuv420p
• 是否为深度图: 否
• 帧率: 30 FPS
• 音频: 无

文件路径结构

• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 元数据信息文件: meta/info.json

搜集汇总

数据集介绍

构建方式

在机器人学习领域，数据采集与表征是驱动仿人作业技能习得的核心瓶颈。lekiwi_plug_self_in_vol4数据集基于LeRobot框架构建，依托lekiwi_client型机器人平台，通过遥操作方式采集了76个完整回合的演示数据，总计逾13.5万帧序列。数据以Parquet格式存储高维状态与动作信息，并将前端及腕部摄像头视频流压缩为AV1编码的MP4文件，确保在有限存储下保留丰富的视觉-运动耦合特征。数据集按1000帧为粒度进行分块组织，便于分布式加载与流式处理。

特点

该数据集聚焦于单一精细化操作任务，呈现高度结构化的多模态特性。动作空间与观测状态均包含9维向量，涵盖六自由度机械臂关节位置、夹爪开合度以及移动底盘线速度与角速度，形成完整的运动描述子。双视角高清视觉流（前置与腕部）以30帧/秒的速率记录场景动态，分辨率达640×480像素，为模仿学习中的视觉策略提供了丰富的纹理与深度信息。数据集严格划分训练集与未显式指定的验证集，且所有回合均针对同一任务，保证了数据分布的一致性。

使用方法

使用者可借助LeRobot工具链便捷加载该数据集。通过指定数据集标识符与拆分名称，即可自动获取按回合组织的数据迭代器。每个样本包含动作向量、观测状态、双视角图像帧、时间戳及帧索引等字段。图像以视频帧形式提供，支持在线解码与批处理。推荐用户将数据与LeRobot内置的策略网络（如扩散策略、动作分块变换器）结合，进行行为克隆或离线强化学习训练。数据集兼容PyTorch与TensorFlow生态，便于集成至现有机器人学习流水线。

背景与挑战

背景概述

在机器人学习领域，模仿学习依赖高质量、多模态的演示数据来驱动策略模型的训练，而低成本、易部署的机器人平台正成为研究热点。lekiwi_plug_self_in_vol4数据集由LeRobot社区于2024年创建，采用Lekiwi移动机械臂平台，聚焦于“自主插拔”这一精细操作任务。该数据集包含76个演示片段、超过13.5万帧的时序数据，涵盖9维关节与移动控制指令、前向与腕部RGB视频，以及同步状态观测，为端到端学习提供了丰富样本。作为LeRobot生态的重要组成部分，该数据集促进了可复现的机器人操作研究，尤其在小型移动机械臂的自适应控制领域具有示范价值。

当前挑战

该数据集所解决的领域问题在于移动机械臂环境下精细操作的模仿学习。与固定基座机械臂不同，移动基座引入的非完整约束与动态耦合使简单插拔任务变得高度非线性，传统控制方法难以泛化。构建过程中，挑战主要体现为数据采集的复杂性：需同时协调移动底盘速度与六自由度手臂运动，并确保30Hz高帧率下视觉与状态流的严格对齐。此外，受限于低成本平台，传感器噪声和机械间隙可能导致演示质量波动，而AV1视频编码虽有压缩优势，却增加了后续数据解码与实时策略推理的延迟负担。

常用场景

经典使用场景

在机器人学习与操控领域，lekiwi_plug_self_in_vol4数据集为研究者提供了丰富的多模态演示数据，涵盖76条完整任务轨迹，总计超过13万帧的高频观测信息。该数据集特别适用于模仿学习与离线强化学习范式，通过记录机械臂各关节位置、末端执行器状态以及移动底盘的线速度和角速度等9维动作数据，配合来自前端与腕部摄像头的实时视觉流，为构建端到端的机器人操控策略提供了理想训练基础。研究者常利用该数据集训练模型以学习插拔电源插头这一类精细且具有代表性的接触式操作任务。

实际应用

在实际工业与生活场景中，该数据集所关联的技能可直接迁移至需要精细操作的服务机器人与协作机器人领域。例如，电动汽车充电桩的自动插拔、实验室设备的线缆连接，以及家庭环境中电器电源的接入等任务，均可借助依据该数据集训练的策略实现自动化。通过结合视觉感知与关节力觉信息，机器人能够在不同方位与角度下可靠地完成插拔动作，大幅减少人工介入的频次。这项技术对于提升仓储物流、医疗辅助及智能家居等行业的无人化操作水平具有显著的推动意义。

衍生相关工作

围绕lekiwi_plug_self_in_vol4数据集已衍生出多项具有影响力的研究工作，主要集中在跨任务迁移学习与多模态融合策略优化方面。研究者基于此数据开发了针对少样本场景的元学习算法，使得机器人仅需数条演示即可适应新的插拔姿态。此外，视觉-动作联合编码架构如扩散策略与基于Transformer的隐式规划器也在该数据集上得到验证，展现出在轨迹稳定性与操作成功率上的优势。这些工作不仅深化了对于实体机器人数据效用的理解，也为构建通用操作智能体提供了重要的实验基准与可复现的评估平台。