eval_act_lekiwi-test

这是一个关于机器人动作的数据集，包含了3个剧集，共3684帧，1个任务，6个视频，分为1个块，每个块包含1000帧。数据集的帧率为30fps，采用Apache-2.0许可证。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: robotics
• 标签: LeRobot
• 创建工具: LeRobot

数据集结构

• 数据文件格式: parquet
• 配置名称: default
• 数据文件路径: data//.parquet

元数据信息

• 代码库版本: v2.1
• 机器人类型: lekiwi
• 总集数: 3
• 总帧数: 3684
• 总任务数: 1
• 总视频数: 6
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 数据分割:
  • 训练集: 0:3

数据路径

• 数据文件路径模板: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件路径模板: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

• action:
  • 数据类型: float32
  • 形状: [9]
  • 名称: shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper, x_mm, y_mm, theta
• observation.state:
  • 数据类型: float32
  • 形状: [9]
  • 名称: shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper, x_mm, y_mm, theta
• observation.images.front:
  • 数据类型: video
  • 形状: [640, 480, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 640
    • 宽度: 480
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 30
    • 通道数: 3
    • 是否有音频: false
• observation.images.wrist:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 30
    • 通道数: 3
    • 是否有音频: false
• timestamp:
  • 数据类型: float32
  • 形状: [1]
  • 名称: null
• frame_index:
  • 数据类型: int64
  • 形状: [1]
  • 名称: null
• episode_index:
  • 数据类型: int64
  • 形状: [1]
  • 名称: null
• index:
  • 数据类型: int64
  • 形状: [1]
  • 名称: null
• task_index:
  • 数据类型: int64
  • 形状: [1]
  • 名称: null

引用信息

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人技术领域，eval_act_lekiwi-test数据集依托LeRobot框架构建，通过采集真实机器人操作任务中的多模态数据实现。数据集包含3个完整任务片段，总计3684帧数据，以30fps的帧率记录机械臂关节角度、末端执行器位姿及双视角视觉信息，并以分块Parquet格式高效存储，确保数据完整性与读取效率。

特点

该数据集显著特征体现在其多维度的传感器融合架构，不仅包含9维关节空间与操作空间的动作向量，还同步提供前视与腕部双摄像头采集的640x480RGB视频流。数据字段采用严格的类型标注与形状定义，支持时空对齐的帧索引机制，为模仿学习与行为克隆研究提供高精度时空一致性保障。

使用方法

研究者可通过加载Parquet数据块快速访问时空对齐的多模态序列，利用episode_index与frame_index实现精确帧定位。视觉数据以AV1编码视频流存储，需配合视频解码器提取像素信息，而动作与状态数据可直接作为张量输入强化学习或行为生成模型，适用于端到端策略训练与跨模态表征学习任务。

背景与挑战

背景概述

eval_act_lekiwi-test数据集由HuggingFace的LeRobot项目团队构建，专注于机器人操作任务的行为评估领域。该数据集通过记录Lekiwi机械臂的多模态传感器数据，包括关节角度、末端执行器坐标及双视角视觉信息，为机器人模仿学习与行为克隆算法提供验证基准。其设计体现了现代机器人学习对高维度状态-动作配对数据的需求，旨在推动实体机器人技能迁移与策略泛化能力的研究进展。

当前挑战

该数据集核心挑战在于解决机器人操作任务中动作序列的精确评估问题，需处理高维连续动作空间与多模态观测的对齐难题。构建过程中面临多传感器时序同步、大规模视频数据压缩存储，以及真实物理环境下数据采集一致性的技术挑战，同时需确保动作指令与实体机器人执行轨迹间的精确映射。

常用场景

经典使用场景

在机器人学习领域，eval_act_lekiwi-test数据集为机械臂控制算法的性能评估提供了标准化测试环境。该数据集通过记录Lekiwi机械臂的多模态传感器数据，包括关节角度、末端执行器位姿及双视角视觉信息，为模仿学习与强化学习算法提供了真实的动作-状态对应关系。研究者可基于该数据集训练机械臂执行特定任务的动作策略，并验证算法在真实物理系统中的泛化能力。

解决学术问题

该数据集有效解决了机器人控制中动作表示与状态观测的关联性问题，为连续动作空间下的策略优化提供了实证基础。通过提供精确的时间同步多模态数据，它支持研究者分析机械臂运动学约束下的动作平滑性与任务完成效率，显著提升了基于视觉的端到端控制算法的可复现性。其标准化数据格式降低了跨平台算法对比的壁垒，推动了机器人学习领域的基准化研究进程。

衍生相关工作

基于该数据集的特性，已衍生出多项关于多模态融合策略的经典研究。例如结合前视与腕部视觉的注意力机制网络，有效提升了机械臂在遮挡环境下的操作精度；另有研究利用其高精度动作标签开发了行为克隆算法的变体，实现了从演示数据到未知任务的零样本迁移。这些工作显著推动了视觉-动作联合建模理论在机器人控制中的发展。