blueberry-kitchen

该数据集是通过LeRobot项目创建的，专为机器人技术领域设计。数据集包含60个总片段，21739帧，涉及单一任务。数据以parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB，帧率为15fps。数据集结构包括动作和观察数据，其中动作数据包含26个浮点型特征，涉及左右手臂和手部的线性、角速度及各手指位置；观察数据包含55个浮点型特征，详细记录了手臂和手部各关节的位置和力度，以及视线信息。此外，数据集还提供了左右两侧及用户视角的彩色视频数据，分辨率为480x640，使用AV1编码。所有数据均按时间戳、帧索引、片段索引和任务索引进行组织。数据集适用于机器人控制、行为分析及机器学习模型训练等任务。

原始信息汇总

数据集概述：blueberry-kitchen

该数据集是一个用于机器人学习（Robotics）的数据集，由 LeRobot 框架创建，以 Apache-2.0 许可证发布。

基本信息

• 主页：未提供
• 论文：未提供
• 许可证：Apache-2.0
• 机器人类型：blueberry_ros
• 总集数（Episodes）：60
• 总帧数（Frames）：21739
• 总任务数：1
• 帧率（FPS）：15
• 数据集大小：100 MB（数据文件）+ 200 MB（视频文件）
• 数据分割：所有数据（0-59 集）用于训练

数据结构

数据集包含多个特征，每个特征具有特定的数据类型、形状和含义，主要分为以下几类：

1. 动作（Action）

• 数据类型：float32
• 形状：26 维
• 意义：机械臂、手部和基座的联合控制指令。
  • 左臂线性速度（x, y, z）和角速度（x, y, z）
  • 左手五指关节位置（pinky, ring, middle, index, thumb1, thumb2）
  • 右臂线性速度（x, y, z）和角速度（x, y, z）
  • 右手五指关节位置（pinky, ring, middle, index, thumb1, thumb2）
  • 基座移动速度（x, y）

2. 观察状态（Observation State）

• 数据类型：float32
• 形状：55 维
• 意义：机器人自身传感器反馈的当前状态。
  • 左臂 7 个关节位置（pos）和扭矩（effort）
  • 左手五指关节位置（pos）和扭矩（effort）
  • 右臂 7 个关节位置（pos）和扭矩（effort）
  • 右手五指关节位置（pos）和扭矩（effort）
  • 注视点坐标（x, y）及其有效性（valid）

3. 观察图像（Observation Images）

包含 4 个摄像头的视频流，每个摄像头参数相同：

• 图像尺寸：480 x 640 像素，3 通道（彩色）
• 视频编码：AV1（av1），像素格式 yuv420p
• 帧率：15 FPS
• 摄像头名称：left（左）、right（右）、user（用户）、user_gaze（用户注视）

4. 其他元数据

• 时间戳（timestamp）：float32，维度 1
• 帧索引（frame_index）：int64，维度 1
• 集索引（episode_index）：int64，维度 1
• 索引（index）：int64，维度 1
• 任务索引（task_index）：int64，维度 1

数据存储

• 数据文件路径：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

引用格式

该数据集的 BibTeX 引用尚未提供。

搜集汇总

数据集介绍

构建方式

blueberry-kitchen数据集基于LeRobot框架构建，旨在为双臂机器人操作任务提供标准化的训练与评估数据。该数据集通过遥操作方式采集，由60个演示回合组成，共计21739帧有效数据，采样频率为每秒15帧。数据以分块形式存储于Parquet文件中，每个块包含最多1000帧，同时以MP4视频格式保存四路相机视角的观测图像，涵盖左右臂第一人称视角、用户视角以及用户注视点视角。数据集仅包含单一任务，训练集与全集重合，无需额外划分。

特点

该数据集的核心特色在于其多维度的行为表征能力。动作空间涵盖26维信号，包括左右臂的线性与角速度、五指关节角度以及底座运动指令，能够细腻地描述双臂协同操作的全过程。观测状态空间更为丰富，包含55维特征，融合了双臂关节位置、力矩反馈以及用户注视点坐标，结合四路高清视频流，为模仿学习与行为克隆提供了对齐良好的状态-动作对。数据编码采用高效的AV1视频压缩技术，在保证视觉保真度的同时控制了存储开销。

使用方法

用户可通过LeRobot库的稳定版本直接加载此数据集。使用from_dataset方法指定数据集名称即可获取训练所需的迭代器，自动处理视频帧解码与时间对齐。数据以EpisodeDataFrame格式呈现，支持按回合、帧索引进行切片访问。训练循环中可调用预处理模块将原始图像缩放到网络输入尺寸，并通过计算动作与状态之间的时序差分来构建策略网络的损失函数。数据集还提供了与OpenAI Gym兼容的Env类，便于在强化学习框架中进行闭环策略评估。

背景与挑战

背景概述

blueberry-kitchen数据集由LeRobot社区于近年创建，专为双臂机器人操作任务设计。该数据集聚焦于厨房环境下蓝莓采摘与处理等精细操作行为，核心研究问题在于解决机器人从人类演示中学习复杂多模态动作表征的难题。通过采集60个完整演示片段，包含超过2万帧的时序数据，数据集融合了左右臂关节角度、力矩信息、双手各指关节位置、底盘运动指令以及人眼注视方向等55维状态变量，并同步录制了多种视角的高清视频。这一丰富的数据结构为模仿学习与行为克隆等算法提供了宝贵的训练资源，对推动家庭服务机器人中的灵巧操作研究具有重要影响力。

当前挑战

该数据集主要挑战体现在两个方面。在领域问题层面，家庭环境中的双臂操作要求机器人同时协调双臂、手指与底盘运动，加之厨房场景中物体位置多变、光照条件复杂，使得从高维状态空间中学习鲁棒的动作映射关系成为亟待突破的瓶颈。在构建过程中，采集系统需同步处理26维动作指令与55维状态观测数据，并确保15帧率下的多摄像头视频与传感器时间戳精准对齐，此外还面临数据标注成本高昂与可迁移性不足等困难。

常用场景

经典使用场景

在机器人学习与模仿学习的前沿探索中，blueberry-kitchen数据集扮演着至关重要的基石角色。该数据集通过精细记录的双臂机器人操作轨迹，为基于视觉的机器人控制策略提供了丰富的训练资源。其经典使用场景聚焦于从示范中学习（Learning from Demonstration），研究者可借助数据集中的高自由度动作序列（26维动作空间）与多视角视觉观测（左、右、用户及注视点四路摄像），训练能够复现复杂厨房操作的智能体。数据集包含60个完整的情节片段，每个片段均携带时空精准对齐的状态信息（55维状态空间），覆盖关节位置、力矩与末端执行器力反馈，从而支撑从端到端策略网络到分层模仿学习的多种范式验证。

衍生相关工作

围绕blueberry-kitchen数据集，学界已涌现出一系列具有启发性的衍生工作。基于其多模态特征结构，研究者开发了融合视觉语言模型的模仿学习框架，将自然语言指令与操作轨迹嵌入统一语义空间。数据集的动作空间设计思路被借鉴至针对高自由度机械臂的残差策略学习（Residual Policy Learning）研究中，通过解耦低层控制与高层规划提升了策略的鲁棒性。此外，其视频序列与力反馈联合标注的形式，催生了基于扩散模型的运动生成工作，实现了对精细操作动作的平滑插值与风格迁移。在评估标准层面，该数据集推动建立了针对双臂操作任务的重现性基准线，为算法对比提供了去偏的量化平台。

数据集最近研究

最新研究方向

blueberry-kitchen数据集作为基于LeRobot框架构建的机器人操作数据集，聚焦于双臂协同作业与多模态感知融合的前沿探索。该数据集包含60个示范片段，记录了双臂21自由度关节运动、末端执行器精细操作及移动底盘协同的完整轨迹，并同步采集左右手摄像头视角与用户注视点视频流，为模仿学习与视觉-运动联合建模提供了高保真数据基底。当前研究方向重点在于利用该数据集训练具备空间推理能力的双臂协作策略，尤其在厨房场景下的精细操作任务中，通过融合用户注视热力图与第一人称视觉线索，推动人-机共享控制策略向更自然的交互范式演进。该数据集的发布不仅为工业级双臂移动操作任务确立了基准测试标准，更以开源形式加速了具身智能领域中长时序动作生成与多视角视觉表征学习等热点问题的突破。