lekiwi-dataset-cross-full

这是一个由LeRobot创建的机器人数据集，包含机器人的动作、状态等特征信息，以及相关视频数据。数据集共有60个剧集，18000帧，1个任务，遵循Apache-2.0许可证。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

数据集结构

规模统计

• 总情节数: 60
• 总帧数: 18000
• 总任务数: 1
• 数据分块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS

数据划分

• 训练集: 0-60

文件路径格式

• 数据文件: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

特征结构

动作特征 (action)

• 数据类型: float32
• 形状: [9]
• 特征名称:
  • arm_shoulder_pan.pos
  • arm_shoulder_lift.pos
  • arm_elbow_flex.pos
  • arm_wrist_flex.pos
  • arm_wrist_roll.pos
  • arm_gripper.pos
  • x.vel
  • y.vel
  • theta.vel

观测状态 (observation.state)

• 数据类型: float32
• 形状: [9]
• 特征名称: 与动作特征相同

腕部图像观测 (observation.images.wrist)

• 数据类型: 视频
• 形状: [480, 640, 3]
• 分辨率: 480×640
• 通道数: 3
• 视频编码: AV1
• 像素格式: yuv420p
• 帧率: 30 FPS
• 非深度图
• 无音频

前部图像观测 (observation.images.front)

• 数据类型: 视频
• 形状: [480, 640, 3]
• 分辨率: 480×640
• 通道数: 3
• 视频编码: AV1
• 像素格式: yuv420p
• 帧率: 30 FPS
• 非深度图
• 无音频

索引特征

• 时间戳: float32, 形状[1]
• 帧索引: int64, 形状[1]
• 情节索引: int64, 形状[1]
• 索引: int64, 形状[1]
• 任务索引: int64, 形状[1]

技术规格

• 代码库版本: v3.0
• 机器人类型: lekiwi_client

搜集汇总

数据集介绍

构建方式

在机器人技术领域，lekiwi-dataset-cross-full数据集依托LeRobot框架构建，采用模块化数据采集策略。该数据集包含60个完整任务片段，总计18000帧数据，以30帧/秒的速率记录机械臂操作过程。数据以分块形式存储于Parquet文件中，每块包含1000帧观测记录，同时配备同步采集的腕部与前置视角视频流，确保动作与视觉信息的时空对齐。

特点

该数据集的核心特征体现在多模态数据融合架构，不仅包含9维机械臂关节位置与速度向量，还整合了双视角视觉信息。腕部摄像头与前置摄像头均以480×640分辨率记录操作场景，视频采用AV1编码压缩。数据标注体系完整覆盖时间戳、帧索引与任务索引，为机器人模仿学习提供精确的动作-观测对齐基准。

使用方法

研究人员可通过解析Parquet数据文件直接获取结构化观测与动作序列，配合MP4格式视频文件实现多模态数据联合分析。数据集采用标准化的特征命名规范，支持直接加载关节空间轨迹与末端执行器速度指令。所有训练数据统一划分为单一样本集，适用于端到端策略学习、行为克隆等机器人学习任务，数据读取接口与LeRobot代码库保持兼容。

背景与挑战

背景概述

在机器人学习领域，高质量数据集对于算法训练与验证具有关键意义。lekiwi-dataset-cross-full数据集由LeRobot平台构建，专注于机器人操作任务的示范数据收集。该数据集包含60个完整任务片段，共计18000帧多模态数据，涵盖机械臂关节状态、末端执行器速度及双视角视觉信息，为机器人模仿学习与策略泛化研究提供重要支撑。其结构化存储格式与标准化特征定义体现了现代机器人数据集设计的系统性思维。

当前挑战

该数据集致力于解决机器人操作任务中的动作序列建模与多模态感知融合难题。构建过程中面临传感器同步精度控制、机械臂轨迹噪声抑制等工程挑战，同时需平衡数据规模与存储效率的矛盾。在算法层面，如何从异构观察数据中提取有效特征并实现动作策略的稳定泛化，仍是当前研究的核心难点。视频数据的高压缩存储与实时解码需求亦对计算架构提出特殊要求。

常用场景

经典使用场景

在机器人学习领域，lekiwi-dataset-cross-full数据集凭借其包含的60个完整任务片段和18000帧多模态数据，成为强化学习算法验证的重要基准。该数据集通过整合机械臂关节位置、末端执行器速度以及双视角视觉信息，为模仿学习和离线强化学习研究提供了标准化实验环境。研究者可基于该数据集训练机器人执行复杂操作任务，并评估策略在跨场景下的泛化能力。

实际应用

工业自动化领域可借助该数据集开发智能分拣与装配系统，其包含的抓取操作轨迹和视觉反馈能直接应用于物流仓储机器人。服务机器人领域则利用其多模态数据训练家庭助理机器人完成物品递送等任务，数据集提供的真实物理交互记录极大提升了控制策略在动态环境中的适应性。

衍生相关工作

基于该数据集衍生的经典研究包括分层强化学习框架的构建，其中时空特征提取网络通过腕部与前端视觉流实现动作序列预测。多项工作探索了跨模态表征学习方法，将关节运动与视觉观测嵌入统一潜在空间。在模仿学习领域，研究者利用该数据集开发了基于扩散模型的策略生成算法，显著提升了动作规划的多样性和鲁棒性。