walleed_hg_double_fold

该机器人学数据集使用LeRobot工具创建，旨在支持机器人控制或模仿学习相关的研究与应用。数据集采用多模态形式，核心内容包括机器人的动作指令、状态观测以及来自前摄像头的视觉观测。具体而言，动作和状态观测均包含六个关节的位置信息：肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转以及夹爪位置。视觉观测为来自前摄像头的RGB视频流，分辨率为640x480，帧率为30fps。此外，数据集还提供了时间戳以及用于数据组织的多个索引字段，包括帧索引、片段索引和任务索引。数据集规模较大，共包含286个独立的数据片段，总计332,942帧数据，但仅对应一个任务。数据以分块形式存储，主数据文件为Parquet格式，视频文件为MP4格式。数据集适用于机器人策略学习、行为克隆、离线强化学习等任务。This robotics dataset is created using the LeRobot toolkit, aiming to support research and applications related to robot control or imitation learning. It is a multimodal dataset, whose core contents include robot action instructions, state observations, and visual observations from the front-facing camera. Specifically, both the action and state observations contain position information of six joints: shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation, and gripper position. The visual observations are RGB video streams from the front camera, with a resolution of 640x480 and a frame rate of 30 fps. In addition, the dataset provides timestamps and multiple index fields for data organization, including frame index, episode index, and task index. The dataset has a large scale, containing a total of 286 independent data episodes with 332,942 frames in total, but only corresponding to one single task. The data is stored in chunks, with the main data files in Parquet format and video files in MP4 format. This dataset is applicable to tasks such as robot policy learning, behavioral cloning, and offline reinforcement learning.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于机器人操控领域的模仿学习研究。数据采集自so_follower机器人平台，涵盖286个完整演示回合，共计332,942帧序列信息。每帧包含6维关节空间动作指令、对应的状态观测值以及前置摄像头捕获的480×640分辨率彩色图像，图像采用AV1编码压缩以平衡质量与存储效率。数据以Parquet格式存储结构化信息，视频则独立封装为MP4文件，整体数据规模约300MB，充分支撑小样本学习场景。

特点

数据集在运动学层面具备高度完整性，动作与状态空间均映射至肩部回转、肩部升降、肘部屈伸、腕部屈伸、腕部旋转及夹爪开合六个自由度，为精细操作任务提供全维度描述。视觉观测采用30帧/秒的稳定帧率，确保时间连续性。值得注意的是，该数据集仅包含单一任务索引，却通过286个不同初始条件与轨迹模式的演示回合，构建出丰富的任务内变异性，有助于算法泛化能力验证。

使用方法

数据集提供了标准化分割方案，全部286个回合默认划归训练集，便于快速展开实验。使用者可借助LeRobot库的API直接加载parquet和视频文件，通过索引字段灵活提取指定时间戳、帧序号或回合数据。典型应用流程包括：基于观测图像与状态序列训练视觉运动策略，以6维动作向量为监督信号；或利用其高帧率特性进行时序建模与轨迹预测。建议在机器人操作迁移学习与模仿学习基线对比中优先采用此数据集。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习对高质量、多模态示范数据的需求日益迫切，而机器人操作任务的数据采集往往面临成本高、复现难度大的困境。walleed_hg_double_fold数据集由Hugging Face社区基于LeRobot框架创建，旨在为双臂机器人协同操作任务提供标准化训练资源。该数据集聚焦于衣物折叠这一精细操作场景，记录了286个完整示范片段，包含超过33万帧的六维关节状态、动作指令及前视摄像头图像，数据频率为30帧/秒，全面捕捉了机器人从感知到执行的闭环流程。作为开源社区推动机器人数据民主化的典型案例，该数据集降低了研究者获取高质量操作数据的技术门槛，为双臂跟随机器人（so_follower）的行为克隆、策略泛化等研究提供了可复现的基准。

当前挑战

该数据集所解决的核心领域挑战在于如何实现非刚体物体（如布料）操作的精准模仿与泛化。衣物折叠涉及复杂的动力学特性，其形状不确定性使得传统基于模型的方法难以直接应用，而数据驱动的模仿学习需要覆盖多种折叠轨迹与初始状态。数据集构建过程中面临两大技术难题：一是数据采集需保持机器人末端执行器与视觉观测的时空同步，确保动作与状态标注的毫秒级对齐；二是数据规模虽达286个片段，但面对真实场景中布料材质的无限变化与干扰，仍需解决示范多样性不足导致的策略过拟合问题。此外，视频编码采用AV1格式压缩以平衡分辨率（640×480）与存储效率，但该格式的解码实时性可能影响在低算力设备上的训练效率，而单任务（task_index唯一）的设定也限制了其在多场景迁移学习中的直接应用。

常用场景

经典使用场景

在机器人学习与操控领域，walleed_hg_double_fold数据集为双臂协作褶皱处理任务提供了高质量的演示数据。该数据集包含286个完整子任务，总帧数超过33万，通过30帧每秒的采样频率精准捕捉六自由度手臂关节位置与夹爪开合状态，同时配以640×480分辨率的前置摄像头视频流。研究者可借此训练模仿学习模型，使机器人掌握布料折叠等精细操作中的力觉感知与路径规划能力。

实际应用

在实际应用层面，该数据集直接服务于服务型机器人的家务自动化场景。基于其训练的模型可部署于双臂料理机，实现衣物自动折叠、桌面铺设等日常任务。160MB的结构化数据包含标准化动作空间与视觉特征，降低了实体机器人部署时的迁移成本，加速了柔性物体操控技术在智能养老、酒店服务等领域的商业化进程。

衍生相关工作

围绕该数据集衍生了若干关键工作，包括基于扩散策略的机器人动作生成技术，以及跨构型机器人知识迁移框架。研究者利用其规范的多模态数据格式，进一步开发了层级化奖励塑形方法，解决了稀疏奖励场景下的探索效率问题。此外，该数据集与LeRobot生态深度整合，为后续高维动作空间中的元学习算法验证提供了标准化测试平台。