HyeonseokE/SO101-FoldTowel_Ours_40epi

该数据集是一个用于机器人学习的双臂机器人折叠毛巾任务数据集，使用LeRobot工具创建。数据集包含40个训练episodes，总计30021帧数据，帧率为10fps。数据特征包括：机器人状态观测（左右臂各6个关节位置）、动作指令、多视角图像观测（顶部摄像头、左腕摄像头、右腕摄像头，分辨率480x640）、末端执行器位姿（XYZRPY坐标）、二进制夹爪状态、技能相关信息（自然语言指令、验证问题、技能类型、进度、目标关节位置和末端位姿）以及时间戳、帧索引、episode索引等元数据。数据以Parquet文件格式存储，视频数据为MP4格式，适用于机器人模仿学习、强化学习等任务。This dataset is a dual-arm robot towel folding task dataset for robot learning, created using the LeRobot tool. It contains 40 training episodes with a total of 30021 frames at 10fps. Features include: robot state observations (6 joint positions per arm), action commands, multi-view image observations (top camera, left wrist camera, right wrist camera, 480x640 resolution), end-effector poses (XYZRPY coordinates), binary gripper states, skill-related information (natural language instructions, verification questions, skill types, progress, target joint positions and end-effector poses), and metadata such as timestamps, frame indices, and episode indices. Data is stored in Parquet format with video data in MP4 format, suitable for tasks like robot imitation learning and reinforcement learning.

搜集汇总

数据集介绍

构建方式

SO101-FoldTowel_Ours_40epi数据集基于LeRobot框架构建，旨在为机器人折叠毛巾这一精细操作任务提供高质量的演示数据。数据集通过SO101型双臂机器人平台进行采集，共收录40个完整操作回合，累计超过30000帧时序数据。每个回合均以10帧/秒的频率同步记录机器人左右臂各关节角度、末端执行器位姿、夹爪状态等12维状态信息与同维度的动作指令。同时，摄像头从顶部、左右腕部三个视角采集640×480分辨率的RGB视频流，为模仿学习提供多模态观察基础。数据以Parquet格式存储为千帧级区块，视频则采用H.264编码独立保存，整体数据量与视频量分别约100MB与200MB。

特点

该数据集最显著的特征在于其丰富且结构化的技能标注体系。针对左右机械臂各自的操作过程，数据不仅包含自然语言描述的技能类型（如折叠、对齐），还设计了进度指标与验证问题，从而支持对子任务执行状态的细粒度评估。此外，每个技能阶段均记录有目标关节角度、末端笛卡尔位姿与夹爪开度，为分层强化学习或技能分解方法提供了理想的条件。全部40个回合专注于单一毛巾折叠任务，且未划分验证集，适用于离线训练与策略迁移研究。

使用方法

数据集完全兼容LeRobot生态，用户可通过HuggingFace的`datasets`库直接加载，并利用LeRobot提供的可视化界面在线浏览样例。使用时，可访问`observation.state`与`action`字段中12维的机器人状态—动作对，或通过`observation.images`下三路视频流获取视觉输入。数据以时间对齐的帧索引与回合索引组织，便于进行序列建模或行为克隆。针对技能标签，`left_skill`与`right_skill`系列字段提供了自然语言目标与进度标量，可用于条件策略学习或任务规划方法的验证。

背景与挑战

背景概述

SO101-FoldTowel_Ours_40epi数据集由HyeonseokE等人于近期创建，依托Hugging Face的LeRobot框架构建，专注于机器人操作领域的细粒度任务——折叠毛巾。该任务属于非刚性物体操作范畴，因毛巾具有高度柔性与形变特性，长期被视为机器人学习中的核心挑战。数据集通过SO101型双臂机器人采集，包含40个完整演示片段，总计30021帧图像与对应运动状态数据，记录了涵盖关节角度、末端执行器位姿及多视角视觉信息的精细化操作过程。其发布为研究从人类演示中学习复杂柔性物体操控策略提供了标准化基准，尤其在模仿学习与技能泛化领域具有显著推动作用。

当前挑战

该数据集所解决的领域核心挑战在于非刚性物体的高自由度操控。与刚性物体不同，毛巾的连续形变和不确定性要求机器人具备从视觉观测中推断潜在物理状态的能力，这对现有基于刚性假设的机器人控制框架构成根本性制约。在构建过程中，数据集面临多重挑战：首先，双臂协同演示采集需要精密校准左右机械臂的六自由度运动以确保动作一致性；其次，多模态信息的同步记录——包括高频关节状态、三维末端执行器姿态及三个视角的高清视频流——对硬件与数据架构的时序对齐提出严苛要求；此外，40个有限演示样本的规模进一步凸显了在数据低稀缺性下保证操作策略鲁棒性的难题。

常用场景

经典使用场景

在机器人操作领域，折叠毛巾这类柔性物体操作任务因其非刚性变形与高自由度特性而极具挑战性。SO101-FoldTowel_Ours_40epi数据集记录了40轮次的双臂机器人折叠毛巾操作演示，包含30,021帧多模态数据。其经典使用场景聚焦于模仿学习中的行为克隆任务，科研人员可借助该数据集的机器人关节状态、末端执行器位姿及多视角视觉观测，训练策略网络学习从视觉输入到动作输出的直接映射。该数据集以10Hz频率同步采集的高清视频与12维关节动作数据，为学习连续运动控制策略提供了高质量训练基础。

实际应用

在工业与服务机器人领域，该数据集所展示的折叠技术可被直接应用于自动化洗衣工厂中的衣物整理环节，替代高重复性的人力劳动。结合典型任务场景，机器人能够通过训练本数据集获得的策略，自主完成从识别毛巾布料到执行折叠动作的完整流程。此外，该技术可衍生至更广泛的柔性材料操作，如布料铺展或医疗领域的手术纱布处理，显著减少体力消耗并提升操作一致性。数据集中的多视角观测配置，也为实现实时误差反馈与自适应调整提供了工程落地的关键支持。

衍生相关工作

基于该数据集的框架设计理念，衍生出了一系列具有突破性的研究范式。采用该数据格式与结构的工作往往围绕LeRobot仿真环境展开，扩展开发了多任务学习模型，能够从单一数据源中提炼出‘抓取’‘展开’‘对齐’等原子技能库。更深入的工作尝试将其中的技能描述字段与大型语言模型结合，构建了可解释的机器人操作规划器，实现在语言指令层级对复杂任务进行逻辑拆分。此外，该数据集的发布催生了相关基准测试，用于评价不同算法在柔性物体操作任务上的泛化能力与鲁棒性能。