HyeonseokE/SO101-DualArm-teleop_fold_towel_60epi

该数据集是一个机器人控制数据集，使用LeRobot平台创建，专注于双机械臂折叠毛巾的任务。数据集包含60个episodes，总计39115帧，帧率为30fps。数据通过远程操作（teleop）收集，机器人类型为双机械臂跟随器（bi_so_follower）。数据集包括动作数据（如左右机械臂的关节位置和夹爪位置）、观察数据（如状态观察，包括机械臂关节位置，以及图像观察，来自三个摄像头：左腕、左顶部和右腕，分辨率均为480x640，RGB格式）。数据以parquet文件和视频文件存储，总数据大小约为100MB，视频文件大小约为200MB。数据集用于训练和评估机器人学习算法，支持多模态输入（状态和视觉）。This dataset is a robotics control dataset created using the LeRobot platform, focusing on the task of folding a towel with dual arms. It contains 60 episodes, totaling 39,115 frames at a frame rate of 30 fps. The data was collected via teleoperation using a dual-arm follower robot (bi_so_follower). The dataset includes action data (e.g., joint positions and gripper positions for both left and right arms) and observation data (e.g., state observations comprising joint positions, and image observations from three cameras: left wrist, left top, and right wrist, all with a resolution of 480x640 and RGB format). Data is stored in parquet files and video files, with a total data size of approximately 100 MB and video file size of about 200 MB. The dataset is intended for training and evaluating robot learning algorithms, supporting multimodal inputs (state and vision).

搜集汇总

数据集介绍

构建方式

SO101-DualArm-teleop_fold_towel_60epi数据集是基于LeRobot框架构建的机器人操作数据集，旨在通过遥操作（teleoperation）方式收集双机械臂折叠毛巾的任务数据。数据集包含60个完整任务回合（episodes），总计39,115帧时序数据，采样频率为30帧/秒。数据以Parquet格式存储动作与状态信息，并辅以H.264编码的MP4视频文件记录观测图像。数据采集过程中，机器人平台采用双机械臂构型（bi_so_follower），左右臂各配置6个自由度（肩部、肘部、腕部及夹爪），通过12维浮点向量表征关节空间下的动作指令与状态反馈。视频数据涵盖左腕、左上及右腕三个视角，分辨率均为480×640像素。

特点

该数据集的核心特色在于其精细化的多模态数据融合设计。动作与观测状态均采用12维浮点向量，完整保留了双机械臂的关节位置信息，为模仿学习算法提供了丰富的运动学特征。视频观测部分包含三个独立视角（左腕、左上、右腕），能够从不同空间角度捕捉操作过程的视觉动态，有效应对物体遮挡与视角差异带来的挑战。数据集采用标准化分块存储策略，将1,000帧数据组织为单一数据块，兼顾了数据加载效率与存储灵活性。此外，全部数据划分为训练集，回合索引与帧索引的显式记录便于算法进行时间序列建模与回合级任务特征提取。

使用方法

该数据集适配于基于LeRobot生态的机器人学习流程。用户可通过LeRobot库直接加载Parquet数据文件与同步的视频流，实现动作序列、状态向量与多视角图像的时间对齐。数据集结构清晰，每个回合的时序数据与视频文件通过分块索引关联，便于在多任务训练场景中高效索引与批处理。对于模仿学习任务，研究者可将12维动作向量作为策略网络的输出目标，利用状态向量与多视角图像作为输入条件。数据集支持按回合或帧索引进行随机采样，并可结合LeRobot的标准化数据管道（data pipeline）进行归一化、数据增强等预处理操作，为双机械臂操作技能的迁移学习与泛化研究提供了便捷的基准数据支持。

背景与挑战

背景概述

在机器人学习领域，从人类演示中获取操作技能是推动具身智能发展的关键范式之一。SO101-DualArm-teleop_fold_towel_60epi数据集由HyeonseokE等研究人员构建，基于LeRobot框架发布，旨在为双臂机器人协同完成柔性物体折叠任务提供高质量的遥操作演示数据。该数据集包含60个演示片段，总计39,115帧高频率（30 fps）的观测与动作序列，涵盖了左右各六自由度的机械臂关节状态、末端夹爪位置以及多视角视觉图像（左侧腕部、左侧顶部、右侧腕部）。其核心研究问题聚焦于如何通过学习人类遥操作演示，使双臂机器人具备对非刚性物体（如毛巾）的灵巧操作能力，对家务自动化、医疗辅助等应用场景具有重要推动作用。

当前挑战

该数据集面临的挑战主要体现在两个层面：首先，在领域问题层面，柔性物体的操作是机器人研究中的重大难题，其非刚体动力学特性导致变形建模复杂，且双臂协调中左右臂动作需高度同步以避免物体滑落或折叠失败，这使得基于固定运动规划的方案难以泛化至未知初始状态；其次，在数据构建过程中，虽然通过遥操作采集了60条高质量演示，但总样本量相对有限，且仅包含单一折叠任务，难以覆盖毛巾不同折叠角度、摆放姿态及材质变化带来的多样性，可能限制学习模型在实际环境中的鲁棒性。此外，多视角视觉数据与高维动作空间的耦合也为特征提取与策略学习增加了复杂度。

常用场景

经典使用场景

在机器人学习与灵巧操作领域，SO101-DualArm-teleop_fold_towel_60epi数据集为双机械臂协同折叠布料这一精细操作任务提供了宝贵的示范数据。该数据集通过遥操作方式采集，包含60个演示回合，共计超过39000帧的机器人状态与多视角视觉信息，为模仿学习与行为克隆算法在柔性物体处理场景中的训练与评估奠定了坚实基础。研究者可借助其中12维关节空间动作序列与四路RGB视频流，构建端到端的视觉运动策略，推动机器人对非刚性物体操控能力的突破。

衍生相关工作

基于该数据集，已有若干开创性工作围绕机器人布料操控展开。例如，研究者发展了基于扩散策略的双臂协同折叠模型，通过条件概率建模生成高精度动作序列；另有一些工作则将视觉-语言模型与数据集中的示范结合，使机器人能够理解自然语言指令并执行相应折叠动作。此外，该数据集亦启发了数据高效模仿学习算法的设计，如利用数据增强和时序对比学习从有限演示中提取鲁棒行为表征，显著降低了长程操作任务的失败率。

数据集最近研究

最新研究方向

在灵巧操作与柔性物体操控的前沿领域，该数据集聚焦于双臂协作折叠毛巾的细粒度遥操作任务，为研究非刚性物体在机器人操作中的形变建模与协同控制提供了宝贵资源。近年来，随着具身智能的兴起与LeRobot等开源框架的普及，面向日常家务场景的精细化操作数据集成为热点。该数据集收录了60个高质量演示片段，涵盖双臂11自由度及夹爪的连续动作轨迹，并同步采集多视角高清视频，为模仿学习与行为克隆算法的训练与评估奠定了坚实基础。其意义在于推动机器人从简单抓取向复杂柔性体操作迈进，加速了家政服务、医疗辅助等场景中自主机器人系统的实用化进程。