wuc1/bi_so101_flatten-and-fold-the-rag-then-place_20260530_214034

该数据集是一个机器人数据集，使用LeRobot工具创建。它包含8个总集和33137个总帧，数据以60帧/秒的速率采集。数据集的结构包括动作特征（如左右机械臂的关节位置，共12个维度）、观测状态（与动作特征相同）、来自三个摄像头的图像观测（左摄像头1、左摄像头3、右摄像头2，每个视频的分辨率为480x640像素，3个通道，编码为AV1格式），以及时间戳、帧索引、集索引、索引和任务索引等元数据。数据集适用于机器人任务，如双臂操作，并遵循Apache 2.0许可证。This is a robotic dataset created with the LeRobot tool. It contains 8 total episodes and 33137 total frames, collected at a rate of 60 frames per second. The dataset structure includes action features (e.g., joint positions of the left and right robotic arms, totaling 12 dimensions), observation states consistent with the action features, image observations from three cameras (Left Camera 1, Left Camera 3, and Right Camera 2; each video has a resolution of 480×640 pixels with 3 channels, encoded in AV1 format), as well as metadata such as timestamps, frame indices, episode indices, indices, and task indices. This dataset is suitable for robotic tasks such as dual-arm manipulation, and is released under the Apache 2.0 license.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，聚焦于双臂机器人执行「展平、折叠抹布并放置」的精细操作任务。数据采集自Bi-SO Follower机器人平台，通过遥操作或预设示教方式记录8个完整轨迹片段，总计33137帧时序数据。每个片段以60帧/秒的速率同步采集三组高清摄像头（左相机1、左相机3、右相机2）的480×640像素视觉影像，并记录左右各6维关节角度与夹爪状态构成的12维动作序列及状态变量。原始数据经编码为AV1格式视频与Parquet结构化文件，按1000帧为一组进行分块存储，形成训练集与验证集统一的单一任务数据集。

特点

数据集的核心特色在于其多模态融合与高频率精细度：视觉观测端提供三视角立体视频流，涵盖机器人操作空间的左、右及辅助视角，为后续行为克隆模型提供丰富的空间上下文；动作与状态空间均以12维连续浮点向量表征，完整保留双臂各关节的位姿与夹爪开合细节。数据采集以60Hz高采样率进行，能捕捉抹布展平与折叠动作中的瞬态变化。此外，数据总量达100MB的结构化数据与200MB的视频存储，配合Apache-2.0开源许可，为双臂灵巧操作任务的研究提供了高质量示范数据。

使用方法

使用者可通过HuggingFace上的LeRobot可视化工具直接预览数据集内容，或利用LeRobot库加载Parquet文件和视频流进行模型训练。数据集已预设单一任务（索引0）与8个片段的训练-验证划分（train: 0:8），便于直接用于模仿学习或强化学习管线。代码层面，建议结合LeRobot的Dataset类读取特征字典，将action和observation.state列作为策略网络的目标输出与输入状态，同时将observation.images中的视频帧经由AV1解码后作为视觉观测。未来研究者亦可扩展该数据集至双臂协作场景的迁移学习或跨任务泛化实验。

背景与挑战

背景概述

该数据集名为bi_so101_flatten-and-fold-the-rag-then-place_20260530_214034，由Hugging Face社区基于LeRobot框架创建，专注于机器人操作领域。数据集于2025年5月30日生成，旨在研究双机械臂在精细操作任务中的协同能力，核心任务为“展平、折叠抹布并放置”。通过记录双机械臂的12维关节动作、多视角视觉输入（左、右、第三视角摄像头）及任务状态信息，数据集涵盖了8个完整轨迹的33137帧高帧率（60fps）数据。该数据集为模仿学习与机器人灵巧操作研究提供了标准化数据基准，推动了从单一机械臂到双机械臂协同任务的范式演进，在机器人技能迁移与泛化研究领域具有重要参考价值。

当前挑战

该数据集面临的核心挑战之一是解决双机械臂在柔性物体（如织物）操作中固有的高维度状态空间与非线性动力学问题，展平与折叠动作需精准协调抓取点、力反馈及视觉闭环，现有模型易受布料褶皱、光照变化和运动模糊干扰。构建过程中，数据集面临多传感器同步与标定难题，涉及三路640×480分辨率视频流与关节编码器数据的60Hz实时对齐，需克服采样时序偏差；同时，由于操作任务依赖演示质量，8个轨迹的有限规模可能制约泛化能力，且未公开环境参数（如工作台摩擦系数）为跨场景复用增添了隐式挑战。

常用场景

经典使用场景

在机器人操作与模仿学习领域，该数据集聚焦于一项精细的布料折叠与放置任务，记录了双臂机器人从展开布料、折叠到最终放置的完整操作流程。通过高帧率（60 FPS）的多视角视觉观测与12维关节动作状态，研究者可借此训练机器人完成复杂、柔性的物体操纵。该数据集尤为适合用于学习基于视觉的闭环控制策略，特别是需要处理布料这类非刚性物体的场景，为机器人灵巧操作研究提供了宝贵的数据基础。

实际应用

在实际应用层面，该数据集所涉及的核心技能——布料折叠与放置，可广泛应用于工业自动化中的布料加工、服装生产线的自动化整理，以及服务机器人领域中的家务整理，如叠衣服、铺床单等。此外，在物流行业中，机器人处理柔性包裹或包装材料时也能借鉴此数据集训练的策略。由于数据集基于LeRobot框架构建，便于直接集成到机器人仿真或实物系统，加速了从实验室研究向真实世界部署的转化进程。

衍生相关工作

围绕该数据集所定义的双臂布料折叠任务，已催生出一系列相关研究工作。一方面，研究者利用其多视角视觉与动作数据，开发了基于Transformer或扩散策略的机器人操作模型，实现了从观察空间到动作空间的高效映射。另一方面，该数据集也推动了机器人领域关于任务表示学习与数据增强方法的发展，例如通过合成不同布料尺寸或纹理数据来提升模型的泛化能力。此外，基于其设定的任务难度，也为评估不同模仿学习算法的样本效率与鲁棒性提供了参考基准。