TagAggDann/lekiwi_combined

该数据集是通过LeRobot创建的，主要用于机器人技术领域。数据集包含20个episodes，3880帧，1个任务，数据以parquet格式存储，视频以mp4格式存储。数据特征包括动作（x.vel, y.vel, theta.vel）、观察状态（x.vel, y.vel, theta.vel）、图像（480x640x3）、时间戳、帧索引、episode索引、索引和任务索引。

This dataset was created using LeRobot and is primarily used in the field of robotics. It contains 20 episodes, 3880 frames, and 1 task, with data stored in parquet format and videos in mp4 format. The data features include actions (x.vel, y.vel, theta.vel), observation states (x.vel, y.vel, theta.vel), images (480x640x3), timestamps, frame indices, episode indices, indices, and task indices.

搜集汇总

数据集介绍

构建方式

本数据集依托于LeRobot框架构建，专注于机器人领域的模仿学习与行为克隆研究。数据采集自名为lekiwi_client的机器人平台，包含20个完整任务回合（episodes），共计3880帧有效数据，所有数据均以30帧/秒的固定帧率记录。数据集以Parquet格式存储结构化数值信息，包括机器人动作指令与状态观测，同时辅以MP4格式的视觉影像数据，通过分块存储策略（chunk_size=1000）优化数据加载效率。元数据信息被统一封装于info.json文件中，清晰标注了数据版本、机器人型号及文件组织路径，确保了数据集的可复现性与可扩展性。

特点

该数据集最显著的特性在于其多模态融合与任务聚焦性。动作空间与状态空间均被精炼为三维向量（x.vel, y.vel, theta.vel），直接对应机器人在平面运动中的线速度与角速度控制指令，极大简化了策略学习的复杂度。同时，数据集提供了480×640分辨率的前置摄像头影像，采用AV1编码格式高效压缩视频流，结合30帧的高频采样，为视觉-运动联合建模提供了坚实的数据基础。此外，数据集明确划分为单一训练集（splits.train=0:20），无验证与测试分区，专注于单一任务场景的深度拟合与策略优化。

使用方法

使用本数据集时，推荐通过LeRobot框架内置的API进行加载与预处理。用户可直接调用LeRobot的dataset模块读取Parquet数据文件，并结合Hugging Face提供的可视化界面（visualize_dataset）即时预览影像与动作序列。在模型训练阶段，可将三维动作向量作为回归目标，将图像观测与状态向量作为输入特征，直接用于端到端的模仿学习网络。由于数据集已按episode_index和frame_index排序，用户可方便地构造时间序列数据，用于处理部分可观测马尔可夫决策过程（POMDP）的训练需求。建议以chunk形式流式加载数据，以适配大规模并行训练场景。

背景与挑战

背景概述

在机器人学习领域，模仿学习与行为克隆技术依赖于高质量、多模态的演示数据集来驱动策略模型的训练。lekiwi_combined数据集由Hugging Face社区与LeRobot框架联合构建，于近期发布，旨在为两轮差分驱动移动机器人（如Lekiwi）提供标准化的动作与观测数据。该数据集包含20个演示片段、3880帧影像，记录了单个任务中机器人的线速度与角速度控制指令，并配有640×480分辨率的前视视觉图像。作为LeRobot生态系统的重要组成部分，它填补了轻量化移动机器人基准数据的空白，为研究端到端导航、运动规划及人机协同提供了一致性的评测基础。

当前挑战

当前数据集的挑战体现在多个层面。领域层面，移动机器人动作空间的高连续性与环境复杂性要求模型具备强泛化能力，而仅有20个演示片段的数据规模难以覆盖真实场景中的光照变化、障碍物分布及动态干扰。构建过程中，数据采集依赖人工遥操作，存在动作噪声与轨迹不一致问题；同时，使用AV1编码压缩的视觉流在高帧率录制时面临存储与算力平衡的挑战，且缺乏深度或力觉传感器信息限制了策略对物理交互的建模精度。这些因素共同制约了数据集在零样本迁移与鲁棒控制任务上的效用。

常用场景

经典使用场景

在机器人学习领域，lekiwi_combined数据集宛如一座桥梁，连通了底层传感器数据与高层行为决策。该数据集聚焦于移动机器人操控任务，通过记录同步的二维速度指令（x.vel、y.vel、theta.vel）与前视摄像头视觉流，为模仿学习与离线强化学习提供了标准化的训练范本。其经典使用场景在于构建端到端的策略网络，让机器人能够直接从视觉观测中习得运动控制策略，从而在未知环境中实现自主导航与避障。

衍生相关工作

依托lekiwi_combined数据集，研究者已衍生出多项开创性工作。在行为克隆领域，该数据集被用于验证基于Transformer的序列预测模型在处理时序动作上的优势；在对比学习方向，工作围绕如何从多视角视觉特征中提取不变性表示展开；此外，数据集中标准化的LeRobot格式催生了一批数据增强与轨迹插值工具，这些工具反过来又提升了下游策略的泛化性能，形成了良性的研究生态循环。

数据集最近研究

最新研究方向

lekiwi_combined数据集聚焦于移动机器人的低维动作与视觉融合学习，特别适用于基于LeRobot框架的模仿学习研究。该数据集通过记录20个回合的轮式机器人底层速度指令（线速度与角速度）及前视摄像头视频，为机器人从人类演示中习得导航与操控策略提供了标准化训练资源。前沿方向上，该数据集正被用于探索端到端的视觉运动控制、多模态感知与决策瓶颈消解，以及利用视频预测模型实现未来状态推断。结合LeRobot社区的开源生态，它推动了机器人学习领域的可复现性实验，并为处理稀疏奖励与高维观察空间下的行为克隆难题提供了基础证据，其紧凑的模态设计与Apache-2.0许可进一步加速了算法基准测试与工业级部署的转化进程。