HyeonseokE/SO101-DualArm-teleop_fold_towel_20epi

该数据集是一个机器人控制数据集，使用LeRobot框架创建，专注于双机械臂执行折叠毛巾的任务。数据集包含20个episodes，总计12763帧，以30帧每秒的速率录制。数据以parquet文件和视频文件形式存储，总数据文件大小为100MB，视频文件大小为200MB。数据集的特征包括动作（12维浮点数组，对应左右机械臂的关节位置）、观察状态（同样12维关节位置）、来自三个摄像头视角的图像（左腕、左顶部和右腕摄像头，分辨率均为480x640，3通道RGB视频），以及时间戳、帧索引、episode索引等元数据。数据集适用于机器人学习和模仿学习任务。This dataset is a robotics control dataset created using the LeRobot framework, focusing on a dual-arm robot performing the task of folding a towel. It contains 20 episodes, totaling 12763 frames, recorded at 30 frames per second. The data is stored in parquet files and video files, with a total data file size of 100MB and video file size of 200MB. The dataset features include actions (12-dimensional float arrays corresponding to joint positions of the left and right arms), observation states (same 12-dimensional joint positions), images from three camera perspectives (left wrist, left top, and right wrist cameras, all with 480x640 resolution and 3-channel RGB video), as well as metadata such as timestamps, frame indices, and episode indices. The dataset is suitable for robotics learning and imitation learning tasks.

搜集汇总

数据集介绍

构建方式

SO101-DualArm-teleop_fold_towel_20epi数据集经由LeRobot框架构建，专注于双臂协作折叠毛巾的精细操作任务。数据集利用远程操作（teleoperation）技术，通过一个双臂机器人平台（robot_type为bi_so_follower），采集人类演示的折叠毛巾动作序列。共计收录20个完整演示片段（episodes），涵盖12763帧画面，数据以parquet格式存储于分块文件（chunk-{chunk_index:03d}/file-{file_index:03d}.parquet）中，同时对应的视频流以h264编码的mp4文件保存，提供丰富的视觉与状态信息。

使用方法

该数据集基于LeRobot生态设计，可通过Hugging Face上的可视化工具直接浏览与交互。用户可加载parquet文件中的状态与动作序列，并结合对应视频文件，用于训练模仿学习或强化学习模型。数据集结构清晰，包含episode_index、frame_index等索引字段，便于按片段重放或批量处理。推荐使用LeRobot的API与dataloader功能，高效加载数据并生成训练批次，同时可利用提供的meta/info.json文件快速获取数据集元信息，如帧数、分块大小等，以适配不同的模型架构与训练策略。

背景与挑战

背景概述

SO101-DualArm-teleop_fold_towel_20epi数据集由韩国研究人员HyeonseokE等人于近期创建，依托LeRobot框架构建，专注于双臂机器人遥操作折叠毛巾这一精细操作任务。该数据集的核心研究问题在于如何通过遥操作收集高质量的双臂协同演示数据，以推动机器人从人类示范中学习复杂柔性物体操作的能力。数据集的发布为模仿学习、强化学习及机器人技能迁移等领域提供了宝贵的基准资源，尤其在应对非刚体物体操作任务中具有重要参考价值。其采用的双臂机器人配置与多视角视觉记录方案，为研究多模态感知与动作耦合机制奠定了数据基础，对促进家用服务机器人发展具有积极影响。

当前挑战

该数据集面临的核心挑战之一在于双臂协同操作的领域复杂性，折叠毛巾涉及柔性物体的变形建模与同步力位控制，与刚性物体操作相比存在本质差异，对机器人系统的感知与规划能力提出更高要求。构建过程中，遥操作数据的采集效率与质量平衡是显著难题，20个演示片段虽可覆盖基本操作模式，但样本数量有限可能导致模型泛化能力不足。此外，多摄像头视角（左腕、左上、右腕）下的视觉数据同步与标注一致性，以及12维关节动作空间的高维特性，均为后续算法训练与评估带来计算与精度上的挑战。

常用场景

经典使用场景

SO101-DualArm-teleop_fold_towel_20epi数据集专为双臂协作机器人灵巧操作任务而设计，其最经典的场景是作为模仿学习（Imitation Learning）中行为克隆（Behavioral Cloning）算法的训练基准。研究人员利用该数据集中20个由人类远程操作演示的折叠毛巾轨迹，涵盖双臂12维关节空间的动作序列与多视角视觉观测（左腕、右腕、左顶），以学习从图像状态到连续动作的映射策略。该数据集的紧凑规模与标准化结构使其成为验证新型模仿学习模型，如扩散策略或Transformer架构在精细柔性物体操作任务中泛化能力的理想平台。

解决学术问题

在机器人学习领域，柔性物体操作因其高自由度与非线性动力学特性长期被视为挑战性难题；该数据集通过提供双臂协作下折叠毛巾的完整演示轨迹，有效解决了柔性物体操作中状态表征与动作规划的双重困境。学术研究者可借此系统性地探究多模态感知融合（视觉-本体感觉）对操作策略鲁棒性的影响，以及20个演示样本下的样本效率问题。该数据集的出现推动了小样本迁移学习与元学习在机器人精细化操作研究中的进展，为从实验室仿真环境向真实世界操作迁移提供了可复现的评估标准，对降低柔性物体操作的研究门槛具有深远意义。

实际应用

实际应用中，该数据集训练出的策略可直接部署于双臂服务机器人，赋能其在家庭场景中自主完成衣物折叠、床单整理等日常家务劳动。工业层面，此类技术可迁移至纺织行业中对布匹、毛巾等柔性材料的自动化整理与包装工序，替代当前依赖人工的重复性操作。医疗领域，经该数据集验证的精确力控与协调动作机制，可辅助康复机器人实现患者四肢的轻柔扶持与衣物穿脱动作。此外，零售物流中衣物的自动拣选与折叠收纳同样受益于该数据集所沉淀的双臂协同控制框架。

数据集最近研究

最新研究方向

在家用服务机器人领域，精细操作柔性物体的能力是衡量其智能化水平的关键指标。SO101-DualArm-teleop_fold_towel_20epi 数据集聚焦于双臂协作折叠毛巾这一典型任务，通过遥操作方式采集了20个演示片段，记录了超过1.2万帧包含12维动作指令与多视角视觉信息的高质量数据。该数据集为研究柔性物体操作中的双臂协调控制、变形预测与实时反馈提供了标准化基准，推动了模仿学习在非结构化家庭环境中的应用。随着人形机器人技术的迭代，此类数据集正成为训练机器人完成衣物整理、物品搬运等日常家务的核心资源，对提升机器人自主作业的鲁棒性与泛化能力具有重要价值。