task8-swap-beakers-in-fridge_0804

该数据集是由 LeRobot 创建的机器人操作数据集，对应于在冰箱中交换烧杯的任务（task8-swap-beakers-in-fridge）。数据集包含 1100 个演示 episode，总计 454,376 帧，帧率为 30 fps。机器人类型为 mobileai_robot，具有双臂（左右各 6 个关节）和移动基座（线速度和角速度）。每个时间步记录 16 维的动作向量（双臂关节位置和移动基座速度）和 16 维的观察状态（与动作相同的关节和速度信息）。此外，还提供三个摄像头视角的高清视频：一个高角度摄像头（cam_high）和两个手腕摄像头（左腕 cam_left_wrist、右腕 cam_right_wrist），每个视频分辨率为 480x640，编码为 H.264。数据以 Parquet 文件和 MP4 视频文件存储，总数据量约为 100 MB（数据文件）加 200 MB（视频文件）。该数据集适用于机器人模仿学习、强化学习、行为克隆等任务，特别是涉及双臂协调和物体操作（如交换烧杯）的场景。This dataset is a robot manipulation dataset created by LeRobot, corresponding to the task of swapping beakers in a fridge (task8-swap-beakers-in-fridge). The dataset contains 1100 demonstration episodes, totaling 454,376 frames at a frame rate of 30 fps. The robot type is mobileai_robot, with dual arms (6 joints each for left and right) and a mobile base (linear and angular velocities). Each time step records a 16-dimensional action vector (joint positions of both arms and base velocities) and a 16-dimensional observation state (same joint and velocity information as actions). Additionally, high-definition videos from three camera perspectives are provided: one high-angle camera (cam_high) and two wrist cameras (left wrist cam_left_wrist, right wrist cam_right_wrist), each with a resolution of 480x640 encoded in H.264. The data is stored in Parquet files and MP4 video files, with a total data size of approximately 100 MB (data files) plus 200 MB (video files). This dataset is suitable for tasks such as robot imitation learning, reinforcement learning, behavior cloning, particularly scenarios involving dual-arm coordination and object manipulation (e.g., swapping beakers).

原始信息汇总

数据集概述：task8-swap-beakers-in-fridge_0804

基本信息

• 用途：机器人操作数据集，专为"在冰箱中交换烧杯"（swap beakers in fridge）任务设计
• 许可证：Apache 2.0
• 创建工具：LeRobot（Hugging Face 开发的机器人学习框架）
• 机器人类型：mobileai_robot（移动AI机器人，配备双臂系统）

规模与构成

• 总回合数：1,100 个
• 总帧数：454,376 帧
• 任务数：1 个
• 帧率：30 FPS
• 数据大小：Parquet 数据文件约 100 MB，视频文件约 200 MB
• 数据拆分：全部 1,100 回合用于训练（0:1100），无验证/测试集划分

数据格式与结构

• 存储路径：
  • 数据文件：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
  • 视频文件：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 数据分块：每个 chunk 包含 1,000 帧数据
• 代码库版本：v3.0

传感器与特征配置

动作与状态（Action / Observation State）

• 数据类型：float32
• 维度：16 维
• 包含内容：
  • 左臂 7 个关节位置（joint_0 至 joint_5 及 carriage 关节）
  • 右臂 7 个关节位置（joint_0 至 joint_5 及 carriage 关节）
  • 移动底盘线速度（x.vel）
  • 移动底盘角速度（theta.vel）

视觉观测（图像）

包含三路摄像头，均为 640×480 分辨率、30 FPS 的 H.264 编码视频，无音频：

相机名称	用途
cam_high	高位俯视相机，观察整体场景
cam_left_wrist	左腕相机，观察左臂操作细节
cam_right_wrist	右腕相机，观察右臂操作细节

辅助时间戳数据

• timestamp：时间戳（float32）
• frame_index：帧索引（int64）
• episode_index：回合索引（int64）
• index：全局索引（int64）
• task_index：任务索引（int64）

搜集汇总

数据集介绍

构建方式

本数据集名为task8-swap-beakers-in-fridge_0804，专为机器人操作任务设计，基于LeRobot框架构建。数据采集自移动AI机器人，共计1100个示范轨迹，包含454,376帧，以30帧每秒的速率记录。数据以Parquet格式存储动作和状态信息，同时以MP4视频格式保存三路摄像头（高位、左右手腕）的影像。特征空间涵盖16维的动作与观测状态，包括双臂各关节位置及移动底盘的速度变量。数据集划分为单一训练集，无验证或测试分割，确保模型训练数据的一致性。

特点

该数据集的核心特点在于其高保真度和多模态特性。动作与观测状态均以浮点数精确记录，而视觉信息通过H.264编码的视频流提供，分辨率达640×480，支持三维空间感知。数据规模适中，压缩后仅占100MB Parquet和200MB视频，便于传输和存储。此外，数据集具备统一的元数据信息，包括时间戳、帧索引和任务标识，为时序建模和任务泛化研究提供了坚实基础。其Apache 2.0许可证进一步促进了学术和工业界的广泛应用。

使用方法

使用时，研究者可借助LeRobot库无缝加载数据，并利用HuggingFace提供的可视化工具逐帧预览。数据集结构清晰，通过meta/info.json可解析所有特征定义。建议将1100个轨迹作为训练集，结合观测图像和关节状态进行模仿学习或强化学习。由于动作空间包含16维控制信号，适用于双臂协调任务的研究。在评估模型时，可随机分割轨迹以构建验证集，但需注意原始划分仅含训练集。此外，视频压缩格式（h264）需在解码时注意帧对齐，以便同步处理视觉和状态信息。

背景与挑战

背景概述

在机器人学习领域，模仿学习（imitation learning）已成为构建灵巧操作技能的核心范式。task8-swap-beakers-in-fridge_0804数据集由gistailab团队基于LeRobot框架于2024年创建，旨在研究移动双臂机器人在冰箱环境中执行烧杯交换的精细操作任务。该数据集包含1100个演示回合、超过45万帧的高频（30fps）多视角视觉与本体感觉数据，覆盖16维动作空间（包括双臂关节位置与移动基座速度）。其设计聚焦于非结构化场景下的物体重排与受限空间操作，为多模态感知-动作联合建模提供了高保真训练资源。作为开源社区（Apache-2.0）的贡献，该数据集填补了家务机器人操作公开基准的空白，推动了具身智能体在复杂家庭任务中的泛化研究。

当前挑战

该数据集所针对的领域挑战在于，冰箱内部空间狭窄且层架结构多变，要求机器人具备精准的视觉-触觉协同与干涉规避能力，以完成烧杯的无碰撞交换，这对现有模仿学习算法在长时程动作序列中的鲁棒性提出了严峻考验。在构建过程中，挑战尤为突出：一是数据采集需在物理真实环境中同步校准三台异构相机（高顶相机与双手腕相机），确保时间戳对齐与视角一致性；二是动作空间涵盖双臂12个关节与基座平移/旋转，需设计统一的控制接口并处理高维连续状态的噪声；三是1100个演示的标注需保证任务语义一致性，且视频压缩（H.264）可能引入像素级失真，影响潜在特征提取的可靠性。

常用场景

经典使用场景

在机器人学习与操控领域，task8-swap-beakers-in-fridge_0804数据集作为模仿学习与强化学习算法的基准测试平台，其核心任务是让机器人学会在冰箱环境中交换烧杯。该数据集涵盖了1100个专家演示轨迹，包含超过45万帧的高清视觉观测（顶部、左腕、右腕视角）以及16维的机器人关节状态和动作指令，为训练端到端的视觉运动策略提供了丰富且高质量的训练样本。研究者常利用此数据集评估模型在精细操作任务中的泛化能力、样本效率及鲁棒性，是验证新型策略学习算法（如扩散策略、Transformer-based决策模型）在复杂物理交互场景中有效性的重要标准。

解决学术问题

该数据集直面机器人精细操作中存在的关键技术挑战，包括多视角感知融合、高精度位姿控制以及动态环境下的稳定抓取与放置。通过提供包含真实物理交互的示范数据，它解决了学术研究中缺乏标准化、可复现的基准数据集的问题，使得不同算法能够在统一的任务设定和评价指标下进行公平比较。此数据集的发布推动了模仿学习从简单抓取向复杂操作（如物体交换）的跨越，为研究长时程任务分解、动作序列生成以及多阶段任务学习提供了数据基础，促进了机器人学习理论在真实世界应用中的验证与发展。

衍生相关工作

基于此数据集，研究者已衍生出一系列创新工作。其中包括利用扩散模型生成更平滑动作序列的方法，通过引入条件生成框架显著提升了操作的成功率；也有工作探索了多模态融合策略，将视觉特征与本体感觉结合以增强模型在遮挡情况下的鲁棒性；此外，迁移学习相关研究利用此数据集作为预训练源，成功将策略迁移至其他相似但任务对象不同的操作场景，验证了特征的通用性。还有研究关注于数据增强技术，利用合成数据与真实数据混合训练，有效减少了所需演示数量，这些衍生工作共同拓展了该数据集在机器人学习领域的影响力。