sdhws/burger_merged_01

该数据集由LeRobot创建，主要用于机器人技术领域。数据集包含50个episodes，59809帧，2个任务。数据格式为parquet文件，包含动作、观测状态、图像等多模态数据。机器人类型为bi_so_follower，数据特征包括12个关节位置数据和多视角视频数据。视频分辨率为480x640，帧率为30fps。

This dataset was created using LeRobot and is primarily used in the field of robotics. It contains 50 episodes, 59809 frames, and 2 tasks. The data is stored in parquet format and includes multimodal data such as actions, observation states, and images. The robot type is bi_so_follower, and the data features include 12 joint position data and multi-view video data. The video resolution is 480x640 with a frame rate of 30fps.

搜集汇总

数据集介绍

构建方式

该数据集依托于LeRobot框架构建，专为机器人学习领域设计。数据来源基于bi_so_follower型机器人平台，通过真实操作采集50个完整交互情节（episode），共计约60,000帧时序数据。数据集以Parquet格式存储结构化的数值特征，包括12维动作指令与12维状态观测，同时以AV1编码的MP4视频文件记录三个视角（左上方、左左侧、右右侧）的高清图像序列，每个视频分辨率为480×640像素，帧率稳定在30 FPS。数据按照固定块大小（chunk_size=1000）进行分块存储，便于高效加载，并提供完整的元信息文件（meta/info.json）以描述数据结构与统计概览。

特点

数据集的核心特点在于其多模态融合与精细化的任务设计。它同时包含低频的关节位置数值（动作与状态各12维）和高频的视觉图像流，覆盖左侧、左上方及右侧三个观察视角，为模仿学习与行为克隆提供丰富的感知信息。数据集涵盖2类机器人操作任务，每类任务包含完整的状态-动作时序轨迹，帧级的时间戳与索引标注确保了时间对齐的精确性。此外，数据以分块形式组织并仅提供训练集划分（第0至49个情节），简化了训练流程，整体数据规模适中（约100 MB数值数据与200 MB视频数据），便于快速实验迭代。

使用方法

该数据集主要适配基于LeRobot库的机器人学习工作流。使用者可通过LeRobot的Dataset接口直接加载Parquet数据文件与视频文件，并自动按帧索引、情节索引构建时间序列。在训练阶段，可利用‘action’字段作为模型输出目标，将‘observation.state’与‘observation.images.*’序列作为联合输入，适用于构建端到端的视觉运动策略。数据集支持自定义chunks_size参数以控制内存加载粒度，同时可通过split参数指定训练子集（默认全量50个情节）。建议结合LeRobot的ReplayBuffer数据结构进行高效的数据批处理与增强操作，以加速模仿学习或强化学习的训练循环。

背景与挑战

背景概述

burge_merged_01数据集诞生于机器人学习领域对高质量模仿学习数据日益增长的渴求之际，由Hugging Face团队依托LeRobot框架创建，旨在为双臂协作机器人提供标准化的训练基准。该数据集聚焦于双机器人协同操作任务，包含50个完整演示片段，覆盖2类典型任务，通过左右各6自由度机械臂的关节角度及多视角视觉信息，构建了动作与状态之间的精确映射。其研究核心在于推动基于视觉的机器人模仿学习从单一机械臂向复杂双臂协作场景的跨越，为后续算法在灵巧操作、人机协同等前沿方向的发展奠定了数据基础，在开源社区中标志着机器人数据集向模块化、可复现研究范式的重要转型。

当前挑战

当前数据集面临的核心挑战在于如何从特定的双臂演示中泛化到未知环境与任务变体。领域层面，双机器人协同操作涉及运动协调、接触力控制及时空同步等复杂问题，现有单臂模仿学习方法难以直接迁移，亟需开发融合双臂运动学约束与视觉语义理解的策略。构建过程中，硬件精度差异导致的数据噪声、演示者操作习惯的多样性以及仅2类任务的局限性，使得数据集在规模与多样性上存在显著瓶颈，难以支撑深度模型的鲁棒训练。此外，多视角视频与关节序列的异构数据融合、实时推理时的高计算负载，均为高效算法设计带来了严峻考验。

常用场景

经典使用场景

在机器人学习领域，burger_merged_01数据集为模仿学习与行为克隆研究提供了宝贵的资源。该数据集源自双机械臂操作平台（bi_so_follower），记录了50个完整操作回合、总计近六万帧的精细运动数据，涵盖了两个不同的操作任务。每回合数据同步采集了左右双臂共计12个关节的动作指令与状态观测，并辅以三路视觉图像信息（左上方、左侧、右侧视角），构成了多模态的学习样本。研究者可借助这些数据训练机器人模型，使其学会从高维视觉感知中提取关键信息，并映射到精确的低维关节控制信号上，从而实现类似人类的双臂协同操作能力。这种端到端的学习范式，特别适用于对灵巧操作要求苛刻的场景，如装配或物体操控等任务。

衍生相关工作

基于burger_merged_01数据集，学术界已经衍生出若干具有突破性的研究工作。经典工作之一是利用该数据训练的双臂操作扩散策略模型，其创新性地借鉴了图像生成领域的扩散概率模型，将机器人动作视为随时间演变的去噪过程，从而显著提升动作序列的平滑性与复杂轨迹的复现精度。另一项代表性工作是领域随机化增强的模仿学习框架，通过在数据集的视觉流中叠加虚拟纹理、光照变化和遮挡掩模，增强了策略对现实环境差异的鲁棒性。此外，还有团队基于该数据集构建了分层式的任务规划系统，高层语义推理器将抽象指令分解为子目标，而低层控制器则利用数据集学习到的运动基元实现精细执行。这些衍生产物不仅验证了数据集的迁移潜力，更拓宽了其在少样本学习、逆强化学习等前沿课题中的适用边界。

数据集最近研究

最新研究方向

该数据集聚焦于双臂协作型机器人（bi_so_follower）的操控学习，为具身智能领域提供了包含50个示范片段、近6万帧状态-动作序列的高保真训练资源。基于HuggingFace LeRobot框架构建，其核心亮点在于同时收录了左右各六自由度关节（包括夹爪）的连续控制信号，以及三组640×480像素的RGB视频流，完美复现了多视角下的精细操作场景。当前，前沿研究方向正围绕该数据集展开模仿学习与离线强化学习算法的对比验证，尤其关注双机械臂在协同任务中的动作耦合问题，以及视觉-运动联合表征的泛化能力。随着Transformer架构在机器人领域的渗透，研究者亦尝试将其与扩散策略结合，挖掘长程时序依赖中的运动先验，从而推动从结构化示范到非结构化环境自主行为的迁移。