RobotSo101/lekiwi_record_1

该数据集由LeRobot项目创建，专注于机器人技术领域。包含50个episodes和35110帧数据，主要用于训练。数据集详细记录了机器人的动作（如手臂各关节位置、速度）、观察状态（与动作相同的数据结构）、前视和腕部摄像头图像（480x640分辨率，15fps）等多种特征，以及时间戳、帧索引等元数据。数据以parquet格式存储，视频以mp4格式存储。

This dataset was created by the LeRobot project, focusing on the field of robotics. It contains 50 episodes and 35110 frames of data, primarily for training purposes. The dataset meticulously records various features such as robot actions (e.g., positions and velocities of arm joints), observation states (same data structure as actions), front and wrist camera images (480x640 resolution, 15fps), as well as metadata like timestamps and frame indices. Data is stored in parquet format, and videos are stored in mp4 format.

搜集汇总

数据集介绍

构建方式

该数据集依托于LeRobot框架构建，旨在为机器人学习领域提供高质量的示范数据。数据采集过程中，以lekiwi_client机器人平台为核心，通过遥操作或预设程序驱动机械臂执行特定任务，同步记录其关节角度、末端执行器姿态及移动底盘的线速度与角速度等9维动作信息。同时，借助前端与腕部两个摄像头以15帧每秒的速率采集480×640分辨率的彩色视觉数据。最终将50个示范片段（episode）的共计35110帧数据分割成1000帧大小的块，以Parquet格式存储结构化数据，并以AV1编码的MP4视频文件保存视觉信息。

特点

该数据集的核心特点在于其多模态融合与结构化设计。数据包含了9维连续动作指令与对应的机器人状态观测值，二者维度一致，便于构建模仿学习中的状态-动作对。视觉模态提供了前视与腕部双视角的RGB图像，增强了环境感知的丰富性。数据集严格按照LeRobot规范组织，通过info.json文件清晰定义了数据路径、视频路径及特征格式，数据类型统一为float32与int64，并附有时间戳与帧索引，便于时序建模。此外，所有数据划分为训练集，总量约300MB，兼顾了实用性与可复现性。

使用方法

使用该数据集时，可借助LeRobot库提供的Python API进行高效加载与解析。用户需先安装LeRobot环境，通过指定数据集名称‘lekiwi_record_1’即可自动下载并索引数据。数据加载后，可通过框架内的数据集类直接访问各特征字段，如‘observation.state’获取状态信息，‘action’获取动作标签，‘observation.images.front’与‘observation.images.wrist’分别访问前视与腕部图像帧。框架支持并行读取与批处理，适用于训练基于视觉的模仿学习或强化学习策略。用户亦可利用HuggingFace Spaces上的可视化工具在线查看数据片段，验证数据质量与任务设定。

背景与挑战

背景概述

在机器人学习领域，模仿学习作为一种高效的技术路径，其性能高度依赖高质量、多模态的演示数据集。lekiwi_record_1数据集由基于LeRobot框架创建的团队构建，旨在服务于轻量级机器人平台Lekiwi的研究与开发。该数据集创建于近年，专注于采集机器人操作过程中的真实动作与观测数据，核心研究问题是如何通过标准化、可复用的数据格式推动机器人技能的学习与迁移。数据集包含了50个演示片段，总计超过35,000帧，采样频率为15帧每秒，涵盖了9维动作空间以及前视和腕部摄像头的高清视频信息。其系统化的数据结构与Apache-2.0开源协议，为机器人社区的算法验证与模型训练提供了宝贵资源，尤其在低成本机器人平台的技能泛化研究方面具有深远影响。

当前挑战

lekiwi_record_1数据集所应对的核心领域挑战在于机器人模仿学习中数据异构性与任务泛化的难题。具体而言，机器人动作执行面临精确控制与实时反馈的耦合问题，而该数据集通过同步记录关节角度、线速度与角速度等多模态信息，为学习复杂操控行为提供了基准。在构建过程中，数据集制作面临的首要挑战是跨传感器的时间戳对齐与数据一致性维护，尤其是将高帧率视频流与低频状态序列无缝融合。此外，数据采集环境易受噪声干扰，导致演示策略不连贯，需通过标准化预处理与人工筛选确保数据质量。同时，有限的任务样本量（仅一项任务）与机器人的物理特性约束，要求数据具备高度可重复性，以支撑后续的迁移学习与策略泛化研究。

常用场景

经典使用场景

在机器人学习与操作领域，lekiwi_record_1数据集为模仿学习与行为克隆提供了理想的训练资源。该数据集记录了lekiwi机器人在单一任务下的50个完整轨迹，包含超过35000帧的高频状态-动作对，以及前视和腕部双视角视频。研究者可以基于这些数据训练策略网络，使机器人通过观察人类示范掌握精细的操作技能，例如抓取与放置任务。其结构化的parquet格式与高频15帧每秒的采样率，确保了时间序列上的连续性与动作的平滑性，是验证端到端学习算法的经典基准。

实际应用

在实际应用中，lekiwi_record_1数据集助力了轻量化服务机器人操作能力的快速部署。例如，在仓储物流场景中，机器人可借助该数据集训练的模型完成包裹的精确抓取与转移；在家庭环境中，它也能赋能机械臂执行开瓶、掀盖等日常辅助任务。数据集提供的双摄像头视角有效解决了遮挡与深度感知难题，使得基于视觉的远程操作和半自主控制更为可靠。其Apache-2.0许可证更鼓励了工业界将其集成到定制化生产流水线上，降低编程调试成本。

衍生相关工作

围绕lekiwi_record_1数据集，学界和工业界孵化了多项经典工作。基于该数据，研究者开发了结合对比学习与时间对比网络（TCN）的视觉表征提取方法，显著提升了策略对场景变化的泛化能力。同时，利用其多模态特点，涌现了将扩散模型应用于机器人动作序列生成的开创性研究，实现了更高精度的轨迹复现。此外，该数据集还常被用作评估离线强化学习算法的基线，如批次约束Q学习（BCQ），验证算法在有限演示数据下的效能。