wuc1/bi_so101_flatten-and-fold-the-rag-then-place-115s_filtered_recomputed_stats

该数据集是一个用于机器人学的数据集，由LeRobot创建，专注于双手机器人（bi_so_follower）的演示任务。数据集包含27个episodes，总计68,010帧，帧率为30fps。数据特征包括机器人的动作（如左右肩、肘、腕和夹爪的位置）、观察状态（与动作相同的关节位置）、来自三个摄像头的图像观察（左摄像头1、左摄像头3和右摄像头2，分辨率为480x640，3通道，视频编码为h264），以及时间戳、帧索引、episode索引、任务索引等元数据。数据集结构以Parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB。任务涉及折叠和放置布料等操作，适用于机器人学习和控制研究。This dataset is a robotics dataset created by LeRobot, focusing on demonstration tasks for a bimanual robot (bi_so_follower). It contains 27 episodes with a total of 68,010 frames at a frame rate of 30fps. The features include robot actions (e.g., positions of left and right shoulders, elbows, wrists, and grippers), observation states (joint positions identical to actions), image observations from three cameras (left_camera1, left_camera3, and right_camera2, with a resolution of 480x640, 3 channels, video codec h264), and metadata such as timestamp, frame index, episode index, and task index. The dataset is structured in Parquet files, with a total data file size of 100MB and video file size of 200MB. The tasks involve operations like folding and placing cloth, suitable for robot learning and control research.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，采集自双机械臂SO-101执行“展平并折叠抹布后放置”任务的真实操作过程。原始演示数据经时间窗口切片，统一重采样至115秒片段，再通过滤波处理剔除异常轨迹与噪声帧，最终对状态与动作序列重新计算统计量，形成27个回合、总计68010帧的结构化样本。所有数据以Parquet格式按块存储，视频以H.264编码保存，确保视觉与本体感知信息的高效同步。

使用方法

研究者可借助LeRobot库加载数据，通过HuggingFace可视化空间在线查看回放。使用时按train划分读取parquet与mp4文件，解析时间戳、帧索引及回合编号，将观测图像与关节状态拼接为策略输入，动作序列作为监督目标。由于数据已过滤并重算统计，可直接用于模仿学习或离线强化学习，无需额外归一化处理，亦可按需截取特定时间窗进行子任务训练。

背景与挑战

背景概述

在机器人学习领域，双臂操作任务因涉及高维动作空间与复杂协调而备受关注。bi_so101_flatten-and-fold-the-rag-then-place-115s_filtered_recomputed_stats数据集由LeRobot框架构建，聚焦于双臂SO101机器人执行“铺平、折叠抹布并放置”的精细操作。该数据集包含27个回合、68010帧，同步采集三路视觉观测与12维关节状态及动作，为视觉-运动策略学习提供了标准化基准。其创建呼应了具身智能对真实世界操作数据日益增长的需求，为模仿学习与多模态表征研究提供了可复用的高质量资源。

当前挑战

该数据集所应对的领域挑战在于，双臂柔性物体操作要求机器人理解抹布的形变、抓取点选择及双臂协调，远超传统刚性物体操控的难度。构建过程中，需确保长时程任务中视觉与状态信号的精确同步，并通过滤波与统计重算剔除噪声与异常片段，以提升数据一致性。此外，仅含单一任务与有限回合数，对策略泛化能力构成考验，如何从稀缺演示中学习鲁棒的双臂协同策略，仍是当前研究的核心难题。

常用场景

经典使用场景

在机器人学习与具身智能领域，双臂精细操作任务长期依赖高质量的演示数据来驱动策略学习。该数据集汇聚了27个回合、逾六万八千帧的双臂机器人操作轨迹，涵盖左右肩部、肘部、腕部及夹爪的完整关节位置与三路视觉观测，为模仿学习与视觉-动作联合建模提供了典型的示教资源。其最经典的使用场景在于训练端到端的视觉运动策略，使机器人能够在真实环境中复现折叠与放置抹布这一多阶段接触密集型任务，进而评估策略在长时序操作中的稳定性与泛化能力。

解决学术问题

该数据集直面机器人学习中演示数据稀缺与任务复杂度失配的难题。以往研究常受限于单臂或短时序数据，难以支撑双臂协调与长程任务规划的研究，而该数据集以双臂同步关节状态与多视角视频流为载体，为探索高维动作空间中的时序依赖与多模态融合提供了实证基础。其意义在于推动了模仿学习算法在接触丰富任务中的验证标准，并为数据驱动的机器人控制策略提供了可复现的基准，影响了后续关于数据规模与策略性能关系的探讨。

实际应用

在工业与服务机器人场景中，折叠与放置柔性物体是典型的高难度操作，涉及形变控制、双臂协作与精确放置。该数据集直接服务于此类实际需求，可用于训练家庭服务机器人完成衣物整理、抹布归置等日常任务，亦可迁移至制造业中柔性材料的抓取与堆叠环节。通过在该数据集上训练的策略，机器人能够在非结构化环境中执行精细操作，降低对人工示教的依赖，提升自动化水平与任务执行效率。

数据集最近研究

最新研究方向

在双臂机器人操作领域，该数据集所涵盖的折叠与放置等精细操作任务，正与当前模仿学习及视觉-语言-动作模型的前沿探索紧密契合。研究者愈发关注如何利用大规模、高质量的双臂演示数据来训练具备泛化能力的策略，以应对复杂现实场景中的长时序操作挑战。该数据集通过LeRobot框架提供同步的多视角视觉观测与关节状态、动作序列，为端到端策略学习、跨模态对齐及轨迹优化等方向提供了宝贵的验证资源。其过滤与统计重计算特性，亦有助于提升数据质量评估与模型鲁棒性研究的可复现性，对推动双臂协作机器人在家庭与工业场景中的落地具有积极意义。