qb1t/lekiwi-record-test

该数据集是一个机器人学数据集，使用LeRobot框架创建。数据包含5个episodes，总计4500帧，以parquet文件格式存储，视频文件为mp4格式。数据集特征包括：动作（9维浮点数，表示机械臂的肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置以及x、y和theta速度）、观测状态（与动作相同的9维浮点数）、前视摄像头图像（480x640分辨率，3通道，30fps视频）和腕部摄像头图像（640x480分辨率，3通道，30fps视频）。此外，还包含时间戳、帧索引、episode索引、索引和任务索引等元数据。机器人类型为lekiwi_client，数据集总大小约为300MB（数据100MB，视频200MB），适用于机器人控制和视觉任务的研究与开发。This is a robotics dataset created using the LeRobot framework. It contains 5 episodes totaling 4500 frames, stored in Parquet file format, with video files in MP4 format. The dataset features include: actions (9-dimensional floating-point numbers, representing the shoulder translation, shoulder lift, elbow flexion, wrist flexion, wrist rotation, gripper position, as well as x, y, and theta velocities of the robotic arm), observations (9-dimensional floating-point numbers identical to the action dimensions), front-facing camera images (480×640 resolution, 3 channels, 30fps video), and wrist camera images (640×480 resolution, 3 channels, 30fps video). Additionally, it includes metadata such as timestamps, frame indices, episode indices, indices, and task indices. The robotic platform type is lekiwi_client. The total size of the dataset is approximately 300 MB (100 MB for data and 200 MB for video files), and it is suitable for research and development in robotic control and vision tasks.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是驱动策略模型泛化与鲁棒性的基石。lekiwi-record-test 数据集依托于 LeRobot 开源框架构建，旨在为双臂移动机器人提供标准化的训练与评估基准。该数据集通过遥操作方式采集，将操作者的动作指令与机器人的实时状态同步记录，最终以 Parquet 格式存储为结构化数据块，并辅以 AV1 编码的压缩视频文件，确保在有限存储空间内保留高保真度的视觉与运动信息。

特点

该数据集具备多维度的精细化特征。动作与状态空间均包含 9 维向量，涵盖机械臂关节位置与移动底盘速度，实现了对机器人全身运动的全面刻画。两路摄像头分别提供前视与腕部视角，其中前视图像分辨率为 480×640，腕部图像为 640×480，均以 30 FPS 的帧率捕捉操作环境的动态变化。数据集合计包含 5 个完整轨迹片段，共计 4500 帧，单一任务设定有利于聚焦于特定操作技能的深度建模。

使用方法

使用者可通过 LeRobot 库中的数据加载器直接读取该数据集。在训练策略网络时，首先调用数据集类实例化训练集，其划分方式为默认的 0 至 4 号轨迹用于训练。模型输入可灵活组合观察状态与视觉图像，通过归一化处理后将动作向量作为监督信号。数据集的 chunk 分块机制支持流式加载，有效降低内存占用，尤其适合在 GPU 环境下进行端到端的模仿学习或强化学习训练。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习的发展高度依赖于高质量、结构化的数据集，以推动算法从仿真环境向真实世界的迁移。lekiwi-record-test数据集由HuggingFace的LeRobot社区于近期创建，旨在为移动机械臂平台‘lekiwi_client’提供标准化训练数据，聚焦于机器人的动作与状态联合建模。该数据集包含5个完整episode、总计4500帧的观测数据，通过前视与腕部双视角摄像头（分辨率分别为640×480与480×640）采集视觉信息，同步记录9维动作向量（涵盖机械臂关节位置与底盘移动速度）及对应状态。作为LeRobot生态系统中的测试性资源，该数据集为验证模仿学习框架在轻量化机器人平台的可行性提供了基准，推动了开源机器人数据集在低样本场景下的研究。

当前挑战

该数据集面临的挑战首先体现在领域问题层面：机器人需要从高维视觉输入（双摄像头视频流）与低维状态向量中学习精准的动作映射，尤其面对仅5个episode的小样本数据时，模型易过拟合且泛化能力受限。其次，数据构建过程中存在显著难点：确保多模态传感器（30fps的视觉与动作数据）的同步采集与时间戳对齐，对硬件与软件协同要求极高；此外，lekiwi_client作为自定义机器人平台，其动作空间包含底盘速度控制与机械臂关节角度冗余解算，导致动作分量的物理意义复杂化，增加了数据标注与策略迁移的难度。

常用场景

经典使用场景

在机器人学习与模仿学习的广袤疆域中，lekiwi-record-test 数据集犹如一座精致而坚实的实验基石。它专门服务于基于视觉的运动策略训练，其数据结构精妙地融合了高精度机械臂的关节角度、移动底盘的速度指令以及来自固定和腕部摄像头的多视角视觉流。研究者可借此搭建从原始像素到连续动作空间的端到端映射，尤其适用于训练基于行为克隆或隐式策略的机器人操控模型。该数据集的低频采样与紧凑的片段长度，亦使其成为验证实时策略响应与多模态融合算法的理想测试台，为从仿真环境向真实世界的迁移学习提供了不可多得的过渡资源。

实际应用

从实际应用层面审视，lekiwi-record-test 数据集所承载的范式，直接辐射至智能服务机器人与柔性制造领域。基于该数据集训练出的策略，可演化为一套敏捷的'看-动'协作系统，赋能机器人完成诸如抓取流水线上随机摆放的物件、在动态环境中进行补给或搬运等精细化操作。其结构化的动作表征（含底盘运动）尤为契合仓储物流场景中自主导航与抓取作业的衔接需求。此外，借助低成本视觉传感器（单目RGB相机）替代昂贵的深度或力觉传感器，该数据集所支撑的模仿学习方案，显著降低了工业级灵巧操作系统的部署门槛，加速了机器人从预设编程向数据驱动智能体转型的产业进程。

衍生相关工作

围绕lekiwi-record-test数据集所体现的数据结构与任务范型，学术界已衍生出一系列颇具影响力的探索工作。其中，基于扩散过程的策略学习方法（如Diffusion Policy）将此数据集中的多视角视觉与多自由度动作配对视为理想训练语料，用以验证去噪概率模型在生成平滑、稳健的复杂操控轨迹方面的优越性。同时，针对该数据集中'固定视角+腕部视角'的视觉架构，催生了众多关于跨视角注意力机制与时序对齐的改进工作，旨在提升策略对部分观测与视觉遮挡的鲁棒性。此外，以该数据集为基准，关于在线微调与仿真到现实迁移的研究亦蔚然成风，它们通过设计精巧的域随机化与奖励塑形算法，大幅缩小了从数据收集到物理部署的性能鸿沟。