jio2/fold_bag

该数据集是一个机器人操作数据集，使用LeRobot框架创建。数据集包含71个训练片段，总计187,086帧数据，帧率为30fps。数据特征包括：12维动作向量（对应左右机械臂各6个关节的位置控制）、12维观测状态（机械臂关节位置）、以及三个摄像头视角的视频观测（左左腕、左上、右右腕视角，均为720x1280分辨率RGB视频）。此外，还包含时间戳、帧索引、片段索引、任务索引等元数据。数据集专为双臂跟随机器人（bi_so_follower）设计，适用于机器人学习任务，数据以Parquet格式和MP4视频格式存储，总数据量约300MB。This dataset is a robotics manipulation dataset created using the LeRobot framework. It contains 71 training episodes with a total of 187,086 frames at 30fps. The features include: 12-dimensional action vectors (corresponding to position control for 6 joints each of the left and right robotic arms), 12-dimensional observation states (arm joint positions), and video observations from three camera perspectives (left left wrist, left top, right right wrist, all 720x1280 resolution RGB videos). Additionally, it includes metadata such as timestamps, frame indices, episode indices, and task indices. The dataset is designed for a bi_so_follower (bilateral follower) robot and is suitable for robot learning tasks. Data is stored in Parquet and MP4 video formats, with a total size of approximately 300MB.

搜集汇总

数据集介绍

构建方式

fold_bag数据集基于LeRobot框架构建，旨在捕捉双机械臂协同折叠袋子的精细化操作过程。数据采集依托具备12个自由度（包括左右肩、肘、腕及夹爪）的bi_so_follower机器人平台，通过高帧率（30 fps）录制71个完整操作轨迹片段，总计包含187,086帧时序信息。每个轨迹同步记录机器人关节状态（observation.state）、12维动作指令（action）以及来自左左腕、左上臂、右右腕三个视角的高清视频观测（1280×720像素），并以Parquet格式存储结构化数据，视频则采用AV1编码压缩为MP4文件。数据集按1000帧为单位分块组织，训练集覆盖全部71个片段，确保操作模式的完整覆盖。

特点

该数据集的核心特色在于其多模态同步记录能力与精细化的任务设计。三个摄像头视角（左腕、左上、右腕）提供冗余且互补的视觉反馈，结合12维关节空间状态与动作标签，为模仿学习与强化学习提供丰富的监督信号。数据涵盖单一折叠任务，但拥有71个不同初始条件与执行风格的轨迹，增强了泛化性。视频采用AV1高效编码，在保持高画质的同时压缩存储空间（200 MB），而关节数据以32位浮点精度存储（100 MB），实现了精度与效率的平衡。此外，数据集附带标准化的meta/info.json元信息，明确字段定义、频率及分块策略，便于算法复现与基准测试。

使用方法

fold_bag数据集可直接通过LeRobot库加载与使用，用户可通过pip安装lerobot后调用load_dataset('jio2/fold_bag')获取完整数据。数据以字典形式返回，包含'observation.images'（多视角视频帧）、'observation.state'（机器人状态）、'action'（动作序列）及'episode_index'等元数据字段。训练时建议按episode_index划分轨迹，利用提供的train split（覆盖0-70索引）进行模型训练。视频数据以NumPy数组形式动态解码，支持批量截取与数据增强。对于模仿学习任务，可构建序列模型输入(action, state, image)三元组；对于强化学习，则可直接使用fps=30的时序信息设置仿真环境步长。

背景与挑战

背景概述

fold_bag数据集是面向机器人操作任务的高质量演示数据集，由Hugging Face团队基于LeRobot平台创建，旨在为双臂机器人精细操作研究提供标准化训练数据。该数据集聚焦于“折叠袋子”这一典型家务操作任务，记录了从初始状态到完成折叠的完整动作序列，涉及双臂协调、夹爪控制与视觉感知的深度融合。数据集采集自一台双臂跟随机器人（bi_so_follower），包含71个演示片段、超过18万帧的高频（30 FPS）观测数据，融合了左/右腕部及顶部共四路高清摄像头（1280×720）的视觉信息与12维连续动作空间（包括肩、肘、腕、夹爪等关节角度）。该数据集填补了机器人操作领域在柔性物体（如袋子）精细折叠任务上的高质量数据空白，为实现多模态模仿学习与操作策略泛化提供了关键资源。

当前挑战

当前数据集面临的核心挑战聚焦于以下三个方面。其一，柔性物体操作的领域难题——袋子材料具有高度非刚性变形、自遮挡与摩擦不确定性，使得基于刚体假设的传统控制策略难以直接迁移，亟需构建能够感知布料形变与实时调整力控的智能系统。其二，多模态数据融合的复杂性——数据集包含高维视觉流（四路视频）与关节状态序列，如何高效对齐时空特征、消除相机视差干扰并提取与操作任务最相关的视觉线索，仍是模型设计中的技术瓶颈。其三，数据采集与规模限制——虽然已有71个高质量演示，但面对真实环境中千变万化的袋子折叠场景（如不同材质、折叠方式、光照条件），当前数据量仍显不足，且基于遥操作的数据采集模式存在人力成本高、动作精度波动等问题，制约了策略的泛化能力与鲁棒性。

常用场景

经典使用场景

在机器人学领域，精细操作任务一直是研究的难点与热点，而折叠这一看似简单的人类日常动作，对机器人而言却蕴含着复杂的力控与轨迹规划挑战。fold_bag数据集专注于双机械臂协同折叠任务，通过采集高保真的多视角视觉图像与双臂关节状态数据，为训练基于模仿学习的机器人操作模型提供了坚实的基准。研究者可借此数据集开展端到端的策略学习，利用双目腕部与顶部摄像头捕捉的动态场景，结合12维关节动作空间，使机器人习得灵活而流畅的折叠技能，从而在非结构化环境中实现高鲁棒性的衣物等柔性物体操作。

解决学术问题

该数据集系统性地回应了机器人操作中柔性物体建模困难与双臂协同控制复杂两大瓶颈问题。通过提供71个完整演示片段，包含187086帧高分辨率视频与同步的关节位姿序列，它使得研究人员能够规避传统物理仿真中织物变形难以精确模拟的困境，转而以跨模态数据驱动的方式探索深层运动规划策略。其重要意义在于，它为双臂从单一任务泛化到多样化折叠场景提供了可复现的实验平台，极大地推动了机器人从感知到行动的端到端学习框架在非刚体操作中的验证与优化进程。

衍生相关工作

该数据集衍生了一系列里程碑式的机器人学习工作，其中最具代表性的包括基于LeRobot框架开发的模仿学习基线模型，如扩散策略与动作分块变换器。这些工作充分利用了fold_bag采集的多视角视觉输入与高频动作标签，验证了条件变分自编码器及基于Transformer架构的序列预测模型在双臂协同任务中的有效性。此外，后续研究在数据集基础上进一步引入了域随机化与数据增强技术，成功将折叠策略迁移至不同视觉背景与机器人构型，为构建通用灵巧操作基础模型奠定了数据与算法基石。