task6-shake-beaker-and-move-to-fridge_0804

该数据集基于 LeRobot 平台构建，用于机器人操作任务，具体任务为“摇动烧杯并移动到冰箱”（task6-shake-beaker-and-move-to-fridge）。数据使用 mobileai_robot 机器人采集，包含 300 个演示片段（episodes），共计 182759 帧，帧率为 30 FPS。每个样本包含 16 维动作向量（左右手臂各 6 个关节位置及 1 个移动关节位置，加上线速度和角速度）和 16 维观测状态（与动作维度相同）。同时提供三个视角的 RGB 视频观测：高摄像头（cam_high）、左腕摄像头（cam_left_wrist）和右腕摄像头（cam_right_wrist），视频分辨率为 480×640，采用 H264 编码，无音频。此外还包含时间戳、帧索引、片段索引等元数据。数据集适用于机器人模仿学习、示教学习、操作技能迁移等任务，训练-测试划分采用前 300 个片段全部作为训练集。This dataset is built on the LeRobot platform for a robot manipulation task, specifically shake beaker and move to fridge (task6-shake-beaker-and-move-to-fridge). The data is collected using the mobileai_robot, containing 300 episodes with a total of 182,759 frames at 30 FPS. Each sample includes a 16-dimensional action vector (6 joint positions for each arm, 1 mobile joint position, plus linear and angular velocities) and a 16-dimensional observation state (same dimensions as action). It also provides RGB video observations from three camera views: high camera (cam_high), left wrist camera (cam_left_wrist), and right wrist camera (cam_right_wrist), with a resolution of 480×640, encoded in H264, and no audio. Additionally, metadata such as timestamps, frame indices, and episode indices are included. The dataset is suitable for tasks like robot imitation learning, teaching learning, and manipulation skill transfer. The training-test split uses all 300 episodes as the training set.

原始信息汇总

数据集详情总结

基本信息

• 数据集名称: task6-shake-beaker-and-move-to-fridge_0804
• 任务类别: 机器人学（robotics）
• 许可证: Apache-2.0
• 创建工具: 使用LeRobot框架创建

数据集规模

• 总片段数（Episodes）: 410
• 总帧数（Frames）: 264,284
• 任务数量: 1
• 帧率（FPS）: 30
• 数据文件大小: 约100 MB
• 视频文件大小: 约200 MB

数据划分

• 训练集: 0:410（全部数据用于训练，共410个片段）

机器人类型

• MobileAI机器人

数据文件结构

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 数据块大小（Chunks Size）: 1000

特征信息

动作（Action）

• 数据类型: float32
• 维度: 16维
• 包含内容:
  • 左臂6个关节位置（left_joint_0至left_joint_5）
  • 左侧托架关节位置（left_left_carriage_joint）
  • 右臂6个关节位置（right_joint_0至right_joint_5）
  • 右侧托架关节位置（right_left_carriage_joint）
  • 线速度（x.vel）
  • 角速度（theta.vel）

观察状态（Observation State）

• 数据类型: float32
• 维度: 16维
• 包含内容: 与动作特征一致（关节位置、线速度、角速度）

图像观察（Observation Images）

数据集包含3个摄像头视角，均为视频类型，分辨率480×640，3通道：

1. cam_high: 高位摄像头
2. cam_left_wrist: 左腕摄像头
3. cam_right_wrist: 右腕摄像头

视频编码参数:

• 编码格式: h264
• 像素格式: yuv420p
• 帧率: 30 fps
• 不含音频

其他特征

• timestamp: float32，时间戳
• frame_index: int64，帧索引
• episode_index: int64，片段索引
• index: int64，索引
• task_index: int64，任务索引

可视化工具

该数据集可通过LeRobot可视化空间进行在线预览，路径为https://huggingface.co/spaces/lerobot/visualize_dataset?path=gistailab/task6-shake-beaker-and-move-to-fridge_0804。

搜集汇总

数据集介绍

构建方式

该数据集隶属于机器人操作学习领域，由LeRobot框架采集并整理，专为移动机械臂的精细操作任务设计。数据采集过程中，移动机器人执行‘摇动烧杯并移至冰箱’这一复合任务，通过多视角视觉传感器与关节位置传感器同步记录，形成410个示范轨迹，总计264,284帧，帧率为30Hz。数据以Parquet与MP4格式分别存储结构化状态信息与视觉流，确保数据完整性与高效存取。

特点

数据集的核心特色在于其多模态融合与高保真度。包含16维动作与状态向量，涵盖双臂各关节位置及移动底盘速度，使得机器人能够精确复现操作细节。视觉方面，提供高、左腕、右腕三路摄像头视角，分辨率为480x640，以H.264编码，兼顾画质与存储效率。此外，数据以1000帧分块存储，便于流式读取与分布式处理，同时附有episode、frame等索引信息，极大便利了时序模型的训练与评估。

使用方法

旨在支持模仿学习与强化学习算法的研发，研究者可直接利用LeRobot工具加载本数据集进行模型训练或可视化。通过指定数据路径与视频路径，系统可自动解析并分配训练集，当前默认划分为全部410个episode用于训练。借助内置的高效数据加载器，可轻松获取action、observation.state及多视角图像数据，适配ACT、Diffusion Policy等主流机器人学习框架，缩短从数据到决策模型的转化周期。

背景与挑战

背景概述

该数据集名为task6-shake-beaker-and-move-to-fridge_0804，由gistailab团队创建，基于LeRobot框架采集，发布于2024年，旨在推动机器人操作技能的学习。其核心研究问题聚焦于移动机械臂在实验室环境中执行精细操作任务——摇晃烧杯并移至冰箱，涉及双臂协调、物体操控及导航等复合技能。数据集包含410个演示片段，共计264,284帧，涵盖高帧率（30fps）的多视角视觉信息（顶视、左右腕部相机）及16维动作状态数据（关节位置、线速度与角速度），为模仿学习和强化学习提供了丰富的训练资源。该数据集填补了移动机器人复杂操作任务的数据空白，对推动具身智能、机器人学习等领域的发展具有重要影响力。

当前挑战

该数据集面临的挑战包括：其一，领域问题的挑战在于移动机械臂需在动态环境中同时完成精细操作（如摇晃烧杯）与导航（移至冰箱），这要求模型学习多模态感知与动作的协同，且任务涉及液体物理特性等不确定性，泛化难度高。其二，构建过程中的挑战体现在数据采集的复杂性上：需同步多相机视觉流与高维关节状态，确保时间对齐和空间一致性；同时，410个演示需保持动作多样性以避免策略过拟合，且数据规模（264,284帧）对存储和标注提出了高效管理的需求。此外，为适应真实场景，数据集需处理光照变化、遮挡及目标位置偏移等问题，进一步增加了学习的难度。

常用场景

经典使用场景

该数据集是面向机器人操作领域的专业数据集，专门记录了移动机械臂执行‘摇晃烧杯并移动至冰箱’这一精细操作任务的完整过程。其视觉观测涵盖顶部相机与左右腕部相机，提供了高帧率、多视角的视频流，同时辅以精准的关节状态与位姿数据，为模仿学习、行为克隆及强化学习等经典机器人学习方法提供了高质量的示范样本。

实际应用

在实践层面，该数据集可直接用于训练机器人在实验室或家庭场景中自主完成物品的摇晃、抓取与搬运等复合操作。通过模仿学习获得的策略模型，可部署于移动机器人平台，实现精确的力度控制和路径规划，进而应用于化学实验自动化、厨房辅助操作等需要精细操作的领域，显著降低人力成本并提高作业效率。

衍生相关工作

以此数据集为基础，研究者已衍生出多项相关工作，涵盖基于视觉语言模型的指令跟随、跨任务的动作生成预训练、以及利用数据增强与域随机化提升泛化性能等方向。此外，该数据集的标准化格式（LeRobot）促进了开源社区中机器人学习模型的复现与比较，为构建大规模机器人操作基准和推动通用操作智能的发展奠定了关键数据基石。