task8-swap-beakers-in-fridge

该数据集是一个用于机器人操作任务的开源数据集，具体任务为在冰箱中交换烧杯，使用LeRobot框架创建，旨在为机器人学习提供真实的操作演示数据。数据集包含102个完整情节，总计97,687帧数据，以30 FPS的帧率采集，采用分块存储，总数据文件大小约为100 MB，视频文件大小约为200 MB。数据特征包括动作指令（一个16维的浮点向量，控制左右机械臂的各个关节位置以及底盘的速度）和观测信息（机器人本体状态，包括16维的关节位置和速度信息，以及来自三个摄像头的视觉信息：一个高位固定摄像头和两个分别安装在左右机械腕部的摄像头）。所有摄像头视频的分辨率均为640x480，3通道彩色，采用H.264编码。此外，每条数据还包含时间戳、帧索引、情节索引、任务索引等元数据。数据集适用于机器人模仿学习、强化学习、视觉运动策略学习等研究领域，特别是涉及双臂协调、精细操作以及在受限空间（如冰箱）内进行物体重排的任务。数据集采用Apache-2.0许可证发布。This dataset is an open-source dataset for robot manipulation tasks, specifically the task of exchanging beakers in a refrigerator. It is created using the LeRobot framework and aims to provide real-world demonstration data for robot learning. The dataset contains 102 complete episodes, totaling 97,687 frames collected at 30 FPS, and is stored in chunks with a total data file size of approximately 100 MB and a video file size of approximately 200 MB. The data features include action commands (a 16-dimensional floating-point vector controlling the joint positions of the left and right robotic arms and the base velocity) and observation information (robot body state, including 16-dimensional joint positions and velocities, as well as visual information from three cameras: a high fixed camera and two cameras mounted on the left and right robotic wrists). All camera videos have a resolution of 640x480, 3-channel color, and use H.264 encoding. Additionally, each data entry includes metadata such as timestamps, frame indices, episode indices, and task indices. The dataset is suitable for research areas such as robot imitation learning, reinforcement learning, and visual-motor policy learning, particularly for tasks involving dual-arm coordination, fine manipulation, and object rearrangement in constrained spaces (e.g., a refrigerator). The dataset is released under the Apache-2.0 license.

原始信息汇总

数据集概述：gistailab/task8-swap-beakers-in-fridge

• 任务类型：机器人（Robotics）
• 许可证：Apache-2.0
• 数据集创建工具：LeRobot

数据集规模与结构

• 总片段数（episodes）：102
• 总帧数（frames）：97,687
• 总任务数：1
• 数据集划分：仅含训练集（train），包含全部102个片段
• 帧率（FPS）：30
• 数据文件总大小：约100 MB
• 视频文件总大小：约200 MB

数据格式

• 数据文件路径模式：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

特征说明

特征名称	数据类型	形状	说明
action	float32	[16]	包含16维动作指令，包括左右各6个关节位置、左右各1个滑动关节位置、x方向线速度、转角速度
observation.state	float32	[16]	机器人状态观测，维度与action相同（关节位置和速度）
observation.images.cam_high	video	[480, 640, 3]	顶部高清摄像头视频流（H.264编码，30 FPS，RGB）
observation.images.cam_left_wrist	video	[480, 640, 3]	左腕摄像头视频流（H.264编码，30 FPS，RGB）
observation.images.cam_right_wrist	video	[480, 640, 3]	右腕摄像头视频流（H.264编码，30 FPS，RGB）
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	片段索引
index	int64	[1]	全局索引
task_index	int64	[1]	任务索引

可视化入口

• 可通过 LeRobot 可视化页面 在线查看数据集内容。

搜集汇总

数据集介绍

构建方式

该数据集由LeRobot框架构建，专为机器人操作任务设计，聚焦于在冰箱环境中交换烧杯的精细操作。数据集包含102个完整演示回合，累计97687帧图像及对应动作记录。数据以Parquet格式存储，并同步提供高清视频流，涵盖高角度、左腕部和右腕部三个视角的640×480像素RGB图像。所有演示均由MobileAI机器人执行，动作空间包含16维向量，涵盖双臂各关节位置及移动底盘速度参数。数据按1000帧分块存储，便于分布式加载，且已预划分为训练集（0至102回合），无需额外分割。

特点

本数据集的一个显著特点在于其高保真度的多模态记录方式。每个时间步均同步采集机器人16维关节状态与动作指令，同时保留来自三个摄像头的30fps视频流，为模仿学习提供丰富的视觉与运动线索。数据总容量约300MB，包含100MB结构化数据与200MB视频素材，规模适中但信息密度高。所有回放均在同一任务类型下完成，但操作起始状态与机器人行为模式具有显著变异性，有助于训练模型应对真实场景中的不确定性。兼容LeRobot生态，支持一键可视化预览与标准模型训练流程。

使用方法

使用该数据集时，可直接通过LeRobot库加载，无需手动处理底层数据格式。在Python环境中运行dataset = load_dataset('gistailab/task8-swap-beakers-in-fridge')即可获取标准化接口。系统自动将Parquet中的状态、动作与帧索引对齐，并将视频帧按需解码为张量数组。用户可通过.dt[0]访问首个回合的数据块，提取状态序列或图像序列以供模型训练。数据集天然支持批处理与多进程采样，且内置任务索引区分不同演示类别。配合HuggingFace提供的在线可视化工具，研究者能快速验证数据质量与任务分布，显著降低细粒度操作学习的研究门槛。

背景与挑战

背景概述

在机器人操作领域，从人类演示中学习复杂操作技能是具身智能研究的重要方向。task8-swap-beakers-in-fridge数据集由gistailab团队基于LeRobot框架构建，于近年发布，旨在为机器人学习提供精细化的物体交换操作演示数据，涵盖102个回合与约9.7万帧的高频观测记录。该数据集聚焦于“冰箱内烧杯交换”这一兼具空间约束与精确操作需求的任务，核心研究问题在于如何使机器人通过模仿学习掌握在有限空间内执行双手协调的物体置换动作。其具备多视角视觉输入（高视角及左右腕部摄像头）与16维关节及速度状态信息，为研究机器人在结构化环境中的细粒度操作能力、多模态感知融合及可复现的基准评估提供了重要数据支撑。

当前挑战

该数据集所解决的领域问题核心挑战在于机器人如何在狭窄、动态受限的冰箱内环境中实现精确的双手协调操作，例如在不破坏相邻物体位置的前提下完成烧杯的互换，这要求模型具备对空间约束的深刻理解与精细的力位混合控制能力。构建过程中面临的挑战包括：设计并统一多源传感器（三路摄像头与关节状态信息）的同步采集与格式标准化，确保高频30帧下时间戳精确对齐；在100MB数据与200MB视频中高效组织脱轨或异常轨迹的清洗，保障102条演示数据的质量与一致性；以及将复杂操作任务解构为可学习的运动基元，以兼顾数据量的有限性与策略泛化性的要求。

常用场景

经典使用场景

在机器人学习与操控领域，dataset task8-swap-beakers-in-fridge 专为研究精细物体重排与空间关系推理而设计。该数据集记录了双机械臂在冷藏环境中交换烧杯的完整操作流程，包含102个演示片段与近10万帧高保真观测数据。经典使用场景聚焦于模仿学习与行为克隆范式，研究者可利用多视角视觉输入（顶部相机与双腕部相机）及16维关节状态信息，训练机器人掌握非刚体物体的精准抓取、抬升与位置调换等复合技能，尤其适用于验证模型在约束空间内执行多步骤、双协作任务的能力。

衍生相关工作

围绕该数据集，衍生出一系列推动具身智能发展的经典工作。一方面，研究者基于其多模态数据格式，提出了融合视觉语言提示的少样本模仿学习方法；另一方面，该数据集被用于验证基于扩散模型的策略生成架构在双机械臂协作任务中的有效性。此外，部分工作将其作为迁移学习基准，对比预训练视觉表征在机器人控制任务中的泛化效果，这些衍生研究不仅丰富了机器人模仿学习的理论体系，也催生了如LeRobot等开源工具包的标准化数据接口设计。

数据集最近研究

最新研究方向

在机器人操作领域，精细操控与复杂任务规划始终是前沿探索的核心挑战。task8-swap-beakers-in-fridge数据集聚焦于“冰箱中烧杯互换”这一典型桌面操作场景，其设计体现了对多自由度协同、视觉引导及环境适应性等关键问题的深度考量。该数据集涵盖了102个完整轨迹片段，通过高帧率（30 FPS）的多视角视觉流（顶部、左右腕部）与16维关节动作状态空间的同步记录，为模仿学习与强化学习算法提供了高保真度的训练范本。当前研究热点集中在如何利用此类数据集提升机器人在非结构化环境中的泛化能力，例如通过对比学习或扩散策略捕捉操作时序中的因果依赖关系。该数据集的发布不仅推动了双臂机器人协同作业的实证研究，更与近期具身智能领域强调的“数据驱动机器人学习”浪潮紧密相连，其开源特性（Apache-2.0许可）为学术界与工业界构建可复现的基准测试平台奠定了坚实基础。