lemon-bowl

这是一个用于机器人任务的 dataset，包含行动、观察状态、前方和顶部图像等信息。数据集共有10个剧集，10173个帧，20个视频，1个任务和1个块，每个块大小为1000。数据集的帧率为30fps，采用Apache-2.0许可证。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: robotics
• 标签: LeRobot
• 代码库版本: v2.1
• 机器人类型: so101_follower

数据集结构

• 总集数: 10
• 总帧数: 10173
• 总任务数: 1
• 总视频数: 20
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

• action:
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• observation.state:
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• observation.images.front:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 深度图: false
    • 帧率: 30
    • 通道数: 3
    • 音频: false
• observation.images.top:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 深度图: false
    • 帧率: 30
    • 通道数: 3
    • 音频: false
• timestamp:
  • 数据类型: float32
  • 形状: [1]
• frame_index:
  • 数据类型: int64
  • 形状: [1]
• episode_index:
  • 数据类型: int64
  • 形状: [1]
• index:
  • 数据类型: int64
  • 形状: [1]
• task_index:
  • 数据类型: int64
  • 形状: [1]

分割信息

• 训练集: 0:10

引用信息

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人技术领域，高质量的示范数据对于算法训练至关重要。lemon-bowl数据集通过LeRobot平台精心构建，采用so101_follower型机器人采集了10个完整任务周期的操作数据，总计包含10173帧30fps的多模态记录。数据以分块形式存储于Parquet文件中，每块包含1000帧，同步保存了六自由度机械臂动作指令、双视角视觉观测（480×640分辨率）及时间戳等元数据，形成了一套结构化的机器人操作数据集。

特点

该数据集最显著的特征在于其多维度的同步数据采集体系。不仅包含六关节机械臂的精确位姿信息（shoulder_pan.pos至gripper.pos），还整合了前视与顶视双路高清视频流，采用AV1编码保障了视觉数据的存储效率。所有数据字段均经过严格类型标注，动作与状态观测采用float32精度，时间序列数据则通过frame_index等四种索引实现精准对齐，为模仿学习算法提供了时空一致的训练素材。

使用方法

研究者可通过解析Parquet文件快速获取结构化数据，其中features字段详细定义了各数据维度的物理含义与数据结构。视频数据存储在独立MP4文件中，与动作指令通过episode_index实现帧级对齐。建议使用pandas加载.parquet文件后，结合opencv处理视频流，利用timestamp字段实现多模态数据的时间同步。训练集已预设为全部10个任务周期，适用于端到端机器人操作策略的监督学习任务。

背景与挑战

背景概述

lemon-bowl数据集是机器人学领域的一项重要资源，由LeRobot项目团队开发并发布。该数据集专注于机器人操作任务，特别是机械臂的运动控制与环境交互。数据集包含10个完整操作序列，共计10173帧数据，涵盖机械臂关节位置、前端及顶部视角视频等多模态信息。通过Apache 2.0许可协议开放，该数据集为机器人动作学习、多模态感知等研究提供了标准化基准。其采用的SO101型跟随机器人平台数据，反映了当前机器人技术对精细化操作能力的研究需求。

当前挑战

该数据集主要面临两方面的挑战：在领域问题层面，机器人操作任务需要解决高维连续动作空间与视觉感知的复杂映射关系，这对动作预测算法的泛化能力提出严峻考验；在构建过程层面，多传感器数据同步采集、大规模视频数据的高效存储（采用AV1编解码的30fps视频流），以及6自由度机械臂运动轨迹的精确标注，都是数据工程中需要克服的技术难点。此外，数据规模相对有限可能影响深度学习方法的表现，这要求研究者开发更高效的小样本学习算法。

常用场景

经典使用场景

在机器人控制与行为学习领域，lemon-bowl数据集以其丰富的多模态数据成为研究机器人动作规划与状态感知的经典基准。该数据集通过记录机械臂关节位置、前端及顶部摄像头视频流，为模仿学习与强化学习算法提供了高保真的训练环境，特别适用于机械臂抓取任务的动作序列建模。

衍生相关工作

围绕该数据集已衍生出多项机器人学习领域的重要研究，包括基于Transformer的多模态策略蒸馏、时空一致性动作预测等创新方法。部分工作进一步扩展了数据集的边界，如通过半监督学习增强有限标注数据的利用率，或结合物理仿真构建混合现实训练管道。

数据集最近研究

最新研究方向

在机器人学领域，lemon-bowl数据集以其丰富的多模态数据为特色，为机器人控制与视觉感知的联合研究提供了重要支持。该数据集包含机械臂的关节位置、状态观测以及来自多个视角的高帧率视频数据，为模仿学习、强化学习等前沿算法提供了理想的实验平台。近期研究热点集中在如何利用该数据集提升机器人对复杂任务的泛化能力，特别是在少样本学习场景下的表现。同时，数据集中的时序信息与多视角视觉数据的结合，也为跨模态表征学习提供了新的可能性，这对于推动具身智能的发展具有重要意义。