lekiwi-test1

这是一个使用LeRobot工具创建的机器人学数据集，包含40个剧集、34338帧图像和80个视频文件。数据集专注于单一任务，提供了包括动作、状态、正面图像、手腕图像等多种类型的数据特征。所有数据以Parquet格式存储，并提供了相应的视频文件。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: robotics
• 标签: LeRobot
• 创建工具: LeRobot

数据集结构

• 数据文件: data//.parquet
• 元数据文件: meta/info.json

元数据详情

• 代码库版本: v2.1
• 机器人类型: lekiwi
• 总集数: 40
• 总帧数: 34338
• 总任务数: 1
• 总视频数: 80
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 分割:
  • 训练集: 0:40

数据路径

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

• action:
  • 数据类型: float32
  • 形状: [9]
  • 名称: shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper, x_mm, y_mm, theta
• observation.state:
  • 数据类型: float32
  • 形状: [9]
  • 名称: shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper, x_mm, y_mm, theta
• observation.images.front:
  • 数据类型: video
  • 形状: [640, 480, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 640
    • 宽度: 480
    • 编解码器: av1
    • 像素格式: yuv420p
    • 深度图: false
    • 帧率: 30 fps
    • 通道数: 3
    • 音频: false
• observation.images.wrist:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 深度图: false
    • 帧率: 30 fps
    • 通道数: 3
    • 音频: false
• timestamp:
  • 数据类型: float32
  • 形状: [1]
  • 名称: null
• frame_index:
  • 数据类型: int64
  • 形状: [1]
  • 名称: null
• episode_index:
  • 数据类型: int64
  • 形状: [1]
  • 名称: null
• index:
  • 数据类型: int64
  • 形状: [1]
  • 名称: null
• task_index:
  • 数据类型: int64
  • 形状: [1]
  • 名称: null

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人技术领域，lekiwi-test1数据集通过LeRobot框架系统采集，整合了40个完整交互情景，涵盖34338帧多模态数据。数据以Parquet格式存储，采用分块结构组织，每个情景包含机械臂关节角度、末端执行器位姿及双视角视觉信息，确保了时序一致性与高精度同步。

特点

该数据集显著特点在于其多维异构数据结构，包含9维动作向量与对应状态观测，辅以前视与腕部双摄像头采集的RGB视频流，分辨率分别为640x480与480x640。所有数据以30fps频率采集，支持精确的时空对齐，为模仿学习与行为克隆研究提供丰富感知-动作映射关系。

使用方法

研究者可通过加载标准Parquet文件直接访问结构化数据，利用帧索引与情景编号实现快速检索。视频数据可通过预设路径调用，支持基于PyTorch或TensorFlow的深度学习管道。数据集专为训练机器人策略网络设计，适用于端到端行为生成、传感器融合及跨模态表示学习等任务。

背景与挑战

背景概述

机器人学习领域近年来在模仿学习与强化学习融合方面取得显著进展，lekiwi-test1数据集作为LeRobot项目的重要组成部分，专注于机械臂操作任务的演示数据收集。该数据集由HuggingFace团队基于Apache 2.0许可证构建，包含40个完整 episodes 和超过34,000帧的多模态数据，涵盖了关节状态、末端执行器位姿及双视角视觉信息，为机器人技能学习提供了丰富的示范样本。

当前挑战

该数据集致力于解决机器人操作任务中的动作规划与视觉感知协同挑战，其构建过程面临多传感器时序同步、高维连续动作空间采样以及大规模视频数据存储等难题。数据集需要确保机械臂状态数据与双摄像头视觉帧的精确对齐，同时维持9维动作向量的物理可行性，这对数据采集系统的实时性和稳定性提出了较高要求。

常用场景

经典使用场景

在机器人学习领域，lekiwi-test1数据集为模仿学习与强化学习算法提供了标准化的验证平台。该数据集通过记录机械臂的关节角度、末端执行器位姿及多视角视觉信息，构建了完整的动作-观测序列，使得研究人员能够训练端到端的策略网络，实现从视觉输入到连续动作输出的映射。其高精度的时间同步数据和多模态特征为动态环境下的机器人控制任务提供了可靠的数据支撑。

解决学术问题

该数据集有效解决了机器人技能迁移中的表征学习难题，通过提供真实世界的多模态交互数据，降低了仿真到实物的迁移差距。其丰富的动作-状态配对数据支持基于行为的克隆、逆强化学习等方法的验证，为研究高维状态空间下的策略泛化能力提供了基准。数据集的结构化设计尤其有利于探索视觉-运动协同控制中的时序依赖关系与长期规划问题。

衍生相关工作

基于此类机器人交互数据集，学术界衍生出包括ACT（Action Chunking Transformer）、RT-1（Robotic Transformer）等经典工作。这些研究通过引入时序建模架构与多尺度特征融合机制，显著提升了长序列动作预测的准确性。后续研究进一步探索了跨任务泛化与少样本学习能力，推动了机器人操作技能的可迁移性与适应性发展。