HyeonseokE/SO101-DualArm-teleop_fold_towel_40epi

该数据集是一个用于机器人学习的数据集，专注于双机械臂折叠毛巾的任务。它使用LeRobot框架创建，包含40个训练集，总计26114帧，帧率为30fps。数据集结构包括动作和观察特征：动作特征由12个浮点值组成，表示左右机械臂的关节位置（如肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部滚动和夹爪位置）；观察特征包括状态观察（同样为12个浮点值的关节位置）和图像观察，图像来自三个摄像头（左腕、左顶部、右腕），分辨率为480x640，3通道，视频编码为h264。此外，数据集还包含时间戳、帧索引、集索引等元数据。数据文件以Parquet格式存储，视频文件以MP4格式存储，总数据文件大小为100MB，视频文件大小为200MB。数据集适用于机器人控制、模仿学习或强化学习等任务。This dataset is designed for robotics learning, specifically focusing on a dual-arm towel folding task. It was created using the LeRobot framework and consists of 40 training episodes, totaling 26114 frames at a frame rate of 30fps. The dataset structure includes action and observation features: the action feature comprises 12 float32 values representing joint positions for both left and right robotic arms (e.g., shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions); the observation features include state observations (also 12 float32 values for joint positions) and image observations from three cameras (left wrist, left top, right wrist) with a resolution of 480x640, 3 channels, and h264 video encoding. Additionally, the dataset contains metadata such as timestamps, frame indices, and episode indices. Data files are stored in Parquet format, while video files are in MP4 format, with total data file size of 100MB and video file size of 200MB. This dataset is suitable for tasks like robot control, imitation learning, or reinforcement learning.

搜集汇总

数据集介绍

构建方式

SO101-DualArm-teleop_fold_towel_40epi 数据集基于 LeRobot 框架构建，旨在为具身智能领域的双臂机器人操作研究提供高质量训练样本。该数据集通过遥操作（teleoperation）方式，由人类操作员控制 SO101 双臂机器人执行折叠毛巾这一精细操作任务，共采集了 40 个完整演示回合（episode），总计 26,114 帧数据，以 30 FPS 的帧率进行录制。每个回合记录了机器人的 12 维动作向量（包括左右臂各 5 个关节位置和 1 个夹爪开合状态）以及对应的观测状态，并将数据存储为高效的 Parquet 格式文件，同时伴有同步的 H.264 编码视频，分别来自左腕、左顶部和右腕三个视角。数据集已预先划分为训练集（全部 40 个回合），便于直接用于模仿学习模型的训练。

使用方法

使用该数据集时，推荐利用 LeRobot 库进行加载与预处理。用户可直接从 Hugging Face 数据集仓库获取数据，并通过 LeRobot 提供的数据加载器（DataLoader）将 Parquet 中的状态、动作数据与对应的视频帧同步读取。典型的应用场景包括行为克隆（Behavior Cloning）或基于扩散策略（Diffusion Policy）的机器人模仿学习。研究人员可任意组合不同视角的图像作为视觉输入，并将 12 维关节动作作为预测目标。数据集的训练/测试划分已在元信息中预设（训练集为全部 40 个回合），但用户也可根据需求重新划分。此外，随附的完整特征元数据（如关节名称、视频编码参数）方便用户进行定制化的数据解析与模型输入设计。

背景与挑战

背景概述

SO101-DualArm-teleop_fold_towel_40epi数据集由研究者HyeonseokE依托HuggingFace社区的LeRobot框架创建，旨在为双臂机器人协同操作提供标准化训练样本。该数据集聚焦于毛巾折叠这一日常家务任务，通过遥操作采集40个演示片段，累计超过2.6万帧高分辨率视觉与关节状态数据，时间跨度为2024年。其核心研究问题在于如何利用少量专家演示实现双臂机器人对柔性物体的精确操控，为解决家务自动化中的非刚体操作难题提供了宝贵资源。作为LeRobot生态的组成部分，该数据集推动了模仿学习在机器人操作领域的发展，为后续跨场景泛化研究奠定了基础。

当前挑战

在领域问题层面，双臂机器人协同折叠毛巾面临柔性物体形变不可预测、双机械臂运动同步性要求高以及毛巾初始状态多样性的挑战，传统规划方法难以应对此类非结构化任务。在构建过程中，研究人员需克服低延迟遥操作系统的搭建难题，确保30帧/秒的稳定控制频率；同时，仅40个演示片段需覆盖毛巾折叠的完整动作链，对数据采集的示范质量与策略泛化性提出严苛要求。此外，多视角视频与高维关节状态的同步记录与清洗，以及Apache-2.0协议下数据的标准化存储，均是保障数据可用性的关键难点。

常用场景

经典使用场景

在机器人操作与模仿学习领域，SO101-DualArm-teleop_fold_towel_40epi数据集为双臂协同操作研究提供了宝贵的基准资源。该数据集通过遥操作方式采集了40个折叠毛巾的完整演示轨迹，包含26114帧高分辨率图像与12维关节位姿状态，覆盖了双臂机器人从抓取、对折到抚平的精细动作序列。研究者常将其用于训练基于视觉的运动策略，通过左右腕部与顶部摄像头的多视角输入，学习从视觉观测到双臂关节动作的端到端映射，尤其适用于探索柔性物体操作中的接触建模与力控策略。

解决学术问题

该数据集系统性地解决了柔性物体双臂协作操作中的核心学术难题，即如何从有限演示中泛化出可迁移的操作技能。折叠毛巾这类任务涉及高度非刚体变形与双臂协调约束，传统规划方法难以建模其动力学特性。此数据集通过提供标准化遥操作轨迹，使研究者能够聚焦于行为克隆、逆强化学习等算法的性能比较，并推动了对序列化动作分割、多模态感知融合等关键技术的验证。其开源性显著降低了机器人学习领域的复现门槛，促进了柔性物体操作理论从仿真到实物的迁移研究。

实际应用

在实际应用中，该数据集为服务机器人执行家务操作提供了可靠的技能模板。基于其训练的模型可引导双机械臂完成毛巾类织物的自动化折叠，在酒店布草整理、家庭衣物收纳等场景中展现出替代人工的潜力。采集方案中采用的‘bi_so_follower’机器人构型与低成本异构传感器配置，为中小企业部署柔性制造单元提供了可复现的技术范式。此外，数据集中同步记录的多视角图像与关节力矩信息，为开发面向非结构化环境的鲁棒操作系统奠定了数据基础。

数据集最近研究

最新研究方向

在机器人灵巧操作领域，柔性物体处理（如毛巾折叠）一直是极具挑战性的前沿课题。SO101-DualArm-teleop_fold_towel_40epi数据集的问世，为双机械臂协同作业下的变形体操控研究提供了珍贵的基准资源。该数据集包含40个高质量遥操演示回合，涵盖超过2.6万帧的关节状态与多视角视觉信息，特别聚焦于毛巾折叠这一高度非刚体、高自由度的精细任务。其采用的双臂跟随架构与多模态观测设计，为模仿学习、因果推理及基于视觉的运动规划等最新研究方向注入了关键训练素材。在当今具身智能与家庭服务机器人备受关注的热潮下，此数据集有助于推动从实验室仿真向真实环境强泛化能力的跨越，为开发能够处理日常柔性物料的自主双臂机器人系统奠定了坚实的数据基础。