HyeonseokE/SO101-FoldTowel_Ours_80epi

该数据集是使用LeRobot创建的，专注于机器人任务，具体针对折叠毛巾操作。数据集包含80个episodes，总计59857帧，采样频率为10 fps。数据涵盖双机器人系统（SO101跟随者类型）的观测和动作信息，包括关节状态（如左/右肩、肘、腕和夹爪位置）、图像观测（来自顶部、左腕和右腕摄像头的视频，分辨率480x640，RGB三通道）、末端执行器位置（XYZRPY坐标）、技能相关数据（如自然语言指令、验证问题、技能类型、进度和目标位置）以及时间戳和索引信息。数据集结构以parquet文件组织，用于训练机器人学习折叠毛巾任务。This dataset was created using LeRobot and focuses on robotics tasks, specifically for towel folding operations. It contains 80 episodes with a total of 59,857 frames at a sampling rate of 10 fps. The data includes observations and actions for a dual-robot system (SO101 follower type), covering joint states (e.g., left/right shoulder, elbow, wrist, and gripper positions), image observations (videos from top, left wrist, and right wrist cameras with 480x640 resolution and RGB channels), end-effector positions (XYZRPY coordinates), skill-related data (such as natural language instructions, verification questions, skill types, progress, and goal positions), as well as timestamps and indices. The dataset is organized in parquet files and is intended for training robots to learn towel folding tasks.

搜集汇总

数据集介绍

构建方式

SO101-FoldTowel_Ours_80epi数据集基于LeRobot框架构建，专注于机器人折叠毛巾的精细化操作任务。该数据集通过SO101_Follower机器人平台采集，共计包含80个演示片段（episode），累积59857帧时序数据，并以10帧/秒的采样频率记录。数据以parquet格式存储于chunk分块文件中，视频数据以h.264编码的mp4文件保存，总数据规模约300兆字节。整个数据集未划分验证集或测试集，全部80个片段均用于训练，体现了对模型泛化能力的充分信任。

特点

该数据集的一个显著特点是其多维度的感知与动作信息融合。观测数据涵盖了来自顶部、左腕和右腕三个视角的640×480分辨率彩色视频流，同时记录了左右机械臂各6个关节的角度位置、末端执行器的六维位姿（xyzrpy）以及夹爪的开合状态。动作空间同样包含左右臂各6维关节角度指令，与观测状态形成完整的闭环控制对。此外，数据集中还嵌入了丰富的语义标签，包括每个技能步骤的自然语言描述、验证问题、技能类型、进度标量以及目标关节位姿，为模仿学习提供了层次化的监督信号。

使用方法

数据集可通过LeRobot库便捷加载，用户只需调用datasets库的load_dataset函数并指定数据集标识符即可获取。加载后，数据将以episode为单位组织，每个episode包含连续的帧序列。研究者可提取observation.state作为状态输入，action作为目标输出，用于训练机器人策略网络。视频观测字段被编码为帧序列，在训练时可进行动态解码或预处理以适配视觉编码器。数据集还提供了left_skill与right_skill等结构化字段，便于实现基于技能的任务分解学习范式，特别适合用于少样本模仿学习或分层强化学习的基线实验。

背景与挑战

背景概述

在机器人学习领域，从示范中学习复杂灵巧操作任务始终是研究的前沿挑战。SO101-FoldTowel_Ours_80epi数据集由HyeonseokE等人创建，基于LeRobot框架构建，旨在解决机器人折叠毛巾这一典型柔性物体操作问题。该数据集采集自双臂SO101机器人平台，包含80个完整示范轨迹，总计近6万帧高保真数据，通过三视角视觉观测（顶部及左右腕部摄像头）与12维关节状态、动作信息的同步记录，为模仿学习与行为克隆提供了高质量训练素材。作为公开可用的标准化数据集，它为研究双手协调策略、柔性物体操控以及技能泛化能力提供了重要基准，推动了机器人操作领域从刚性物体向柔性物体研究的拓展。

当前挑战

该数据集所面临的挑战主要体现在两个方面：首先，在领域问题层面，毛巾折叠属于柔性物体操作范畴，其高自由度形变、不可预测的物理特性及双手协作的时序难题，使得传统基于模型的控制方法难以适用，亟需数据驱动的学习方法实现精确且鲁棒的策略泛化。其次，在构建过程中，数据集采集面临诸多实际困难：需要精确同步三路摄像头的视频流与12维关节状态数据，确保时间对齐精度；80个示范轨迹需覆盖多样的初始毛巾状态与折法，避免过拟合；同时，双臂SO101机器人的左右手协同动作标注（包括自然语言描述、验证问题及进度指示）增加了数据标注的复杂性与人力成本。此外，视频数据高达200MB的存储体积与parquet格式的时序压缩需求，也对数据管理与高效加载提出了工程挑战。

常用场景

经典使用场景

SO101-FoldTowel_Ours_80epi数据集主要面向双手机器人折叠毛巾这一精细操作任务，为模仿学习与行为克隆研究提供了高质量演示数据。该数据集包含80条完整演示片段，共计近六万帧时序状态与动作序列，配合顶部及左右腕部多视角视觉输入，使研究者能够训练机器人从像素到关节指令的端到端策略。经典用法是利用该数据集训练扩散策略或基于Transformer的动作预测模型，在仿真环境下复现叠毛巾的灵巧操控行为，从而验证算法在非刚体对象处理中的有效性。

衍生相关工作

基于SO101-FoldTowel_Ours_80epi衍生出的代表性工作包括条件变分自编码器在双臂操作轨迹生成中的应用，以及结合语言指令的层次化技能拆分模型。研究者还利用该数据集的技能进度与自然语言标注字段，开发了多阶段任务分解框架，使机器人能够根据可验证的子目标逐步完成折叠操作。更进一步的探索将扩散模型引入可变形物体操控，生成连续且平滑的动作序列，并催生出针对双臂协调策略的可迁移预训练范式。

数据集最近研究

最新研究方向

在具身智能与机器人操作领域，SO101-FoldTowel_Ours_80epi数据集专注于双机械臂协同完成柔性物体折叠这一前沿任务。随着家务自动化与工业精细操作需求的激增，柔性物体操控因其高维状态空间与非线性动力学特性，成为机器人学习领域的核心挑战。该数据集通过SO101_follower机器人平台采集80个演示片段，涵盖约6万帧多视角视觉与关节状态数据，并创新性地融合了自然语言指令与技能验证机制，为模仿学习与基于语言条件的策略泛化提供了标准化训练资源。其设计呼应了近期大模型与机器人结合的浪潮，如利用预训练语言模型解析复杂折叠任务，推动机器人从刚性物体操控向织物、衣物等非刚性对象的灵巧操作跨越，对提升家庭服务与医疗手术中的自动化水平具有深远意义。