HyeonseokE/SO101-FoldTowel_Ours_60epi

该数据集是使用LeRobot创建的。This dataset was created using LeRobot.

搜集汇总

数据集介绍

构建方式

SO101-FoldTowel_Ours_60epi数据集基于LeRobot框架构建，旨在记录双臂协作机器人执行折叠毛巾任务的精细操作轨迹。数据通过SO101型双臂机器人平台采集，涵盖60个演示回合，总计45,009帧同步数据，采样频率为10帧/秒。每回合数据以Parquet格式存储轨迹状态与动作序列，同时同步录制三路高清视频（顶部、左腕、右腕视角），提供480×640像素的视觉观测。数据被划分为1000帧大小的块文件，便于高效加载与管理。

使用方法

数据集可直接利用LeRobot库加载与可视化，适用于模仿学习与机器人操作策略训练。用户可通过指定数据集路径并使用LeRobot的Dataset类访问轨迹数据，其中观测与动作特征按命名维度对齐。视频数据以H.264编码存储，便于复现视觉策略。数据集已划分为训练集（全部60回合），支持基于回合的迭代式训练。此外，通过HuggingFace提供的可视化工具，可在线浏览单回合的传感器流与操作过程，降低使用门槛。

背景与挑战

背景概述

SO101-FoldTowel_Ours_60epi数据集由HyeonseokE等人创建，依托于LeRobot框架，专为机器人操作领域设计。该数据集聚焦于双机械臂协同折叠毛巾的任务，记录60个完整操作回合、共计45009帧的高频时序数据（10 FPS），涵盖三视角视觉观测、关节状态与末端执行器位姿等多模态信息。其核心研究问题在于如何通过模仿学习使机器人掌握柔性物体的精细操作技能，为家庭服务机器人自主完成衣物折叠等复杂任务提供基准。数据集的开源发布（Apache-2.0许可）显著推动了机器人学习社区对非刚性物体操作的探索，成为验证模仿学习算法在双臂协作场景中泛化能力的重要资源。

当前挑战

数据集所应对的领域核心挑战在于柔性物体的高自由度与形变不确定性——毛巾折叠过程中布料的非线性动力学特性要求机器人具备实时感知与自适应调整能力，这对传统的刚性物体操作模型构成根本性突破。在数据构建层面，双机械臂协同控制本身即为难题：左右臂需在12维联合动作空间内保持运动协调，同时避免碰撞与抓取失效。此外，多视角视觉数据的同步采集与标注、技能分解（如将折叠动作拆解为自然语言指令与子目标状态）的规范化表达，亦对数据质量与一致性提出严苛要求，尤其是在仅有60个回合的有限样本条件下，需确保数据覆盖折叠任务的完整状态分布而非局部过拟合。

常用场景

经典使用场景

SO101-FoldTowel_Ours_60epi数据集为双臂机器人操作领域提供了宝贵的训练资源，其核心应用场景聚焦于协助机器人学习折毛巾这类精细且柔性的操作任务。该数据集包含了60个完整演示回合，通过双机械臂（so101_follower）的12个关节状态、末端执行器位姿及多视角视觉观测（顶部、左腕、右腕摄像头），完整记录了机器人从抓取到折叠的连续动作序列。研究者可基于此数据集训练模仿学习或强化学习模型，使机器人能够理解柔性物体的物理特性并复现柔顺的操作策略，这在高精度的家务场景中具有极高的研究价值。

解决学术问题

在机器人学术领域，柔性物体操作一直是极具挑战性的研究方向，其难点在于物体形变的不确定性与高维状态空间的建模。该数据集通过提供高频率（10FPS）且多模态的演示数据，有效解决了双臂协作中折毛巾任务的学习问题。研究者可利用其丰富的状态-动作对来研究如何将人类的操作策略迁移至机器人身上，探索隐式技能分解与无模型的端到端学习方法。该数据集的公开推动了关于柔性物体操作中长时域动作序列的整合、多模态融合以及泛化能力的讨论，为后续建立更通用的家务机器人基准提供了重要支撑。

实际应用

在实际应用层面，该数据集所蕴藏的折毛巾技能可被直接部署于服务机器人或家庭辅助机器人中，用于执行衣物整理、布料折叠等日常家务。借助数据集中含有的自然语言指令与技能验证机制，机器人不仅能完成物理操作，还能接收到任务状态反馈，从而在医疗护理、酒店服务及家庭养老等真实场景中协助人类处理繁琐的织物任务。这些应用有效降低了人力在重复性家务劳动中的参与，为推进机器人走进日常生活迈出了坚实一步。

数据集最近研究

最新研究方向

在具身智能与灵巧操作的前沿领域，SO101-FoldTowel_Ours_60epi数据集聚焦于双机械臂协同完成精细织物折叠这一复杂任务。随着特斯拉Optimus、Figure 02等人形机器人掀起家用服务浪潮，家庭场景中布料类柔性物体的操控成为衡量机器人灵巧性与环境适应力的关键试金石。该数据集依托LeRobot框架，记录了60轮包含多视角视觉观测、双腕关节状态与末端执行器位姿的高频轨迹，并创新性地引入自然语言指令与分阶段验证机制，为研究层次化技能学习、视觉-语言-动作联合建模提供了高保真样本。其问世加速了机器人从刚性操作向柔性对象精细作业的跨越，推动了通用操作技能在非结构化家庭环境中的迁移与泛化。