HyeonseokE/SO101-FoldTowel_Ours_20epi

这是一个用于机器人学习的数据集，由LeRobot创建，专注于双手机器人（so101_follower类型）的折叠毛巾任务。数据集包含20个训练集片段，总计15107帧数据，帧率为10fps。数据特征包括：机器人状态观测（如左右肩、肘、腕关节位置和夹爪位置）、动作数据、图像观测（来自顶部、左右腕部摄像头的视频，分辨率480x640，RGB三通道）、末端执行器位置（XYZ坐标和旋转角度）、技能相关信息（如自然语言指令、验证问题、技能类型、进度和目标位置），以及时间戳、帧索引、片段索引等元数据。数据集结构以Parquet文件存储，适用于机器人控制、模仿学习或强化学习任务。This is a dataset for robotics learning, created by LeRobot, focusing on a dual-arm robot (so101_follower type) for towel-folding tasks. It contains 20 training episodes, totaling 15107 frames at 10fps. Features include robot state observations (e.g., joint positions for left/right shoulders, elbows, wrists, and grippers), action data, image observations (videos from top, left wrist, and right wrist cameras with 480x640 resolution and RGB channels), end-effector positions (XYZ coordinates and rotation angles), skill-related information (e.g., natural language instructions, verification questions, skill types, progress, and goal positions), and metadata such as timestamps, frame indices, and episode indices. The dataset is stored in Parquet format and is suited for robot control, imitation learning, or reinforcement learning tasks.

搜集汇总

数据集介绍

构建方式

SO101-FoldTowel_Ours_20epi数据集依托于LeRobot框架构建，旨在为双臂机器人操作任务提供高质量的演示数据。数据集通过一台SO101型号的从属机器人，在折叠毛巾这一精细操作场景中采集而成。整个采集过程共包含20个完整的操作回合（episode），总计记录15107帧时序数据。每个回合以10帧每秒的采样率同步存储机器人状态、动作指令及多视角视觉观测。数据以parquet格式存储于分块文件中，并辅以H.264编码的MP4视频文件记录高分辨率（480×640）的顶部、左腕和右腕三路图像流。数据集采用标准的训练/验证分割方式，将全部20个回合均划入训练集，便于端到端模仿学习任务的开展。

特点

该数据集最显著的特点在于其丰富的多模态信息与冗余表征能力。数据包括12维的机器人关节状态与动作向量，分别对应左右双臂的六个自由度（肩部、肘部、腕部及夹爪），此外还提供了左右手各自的笛卡尔末端执行器位姿（xyzrpy）与夹爪二进制状态。为支持技能解析与可解释性研究，数据集创新性地引入了技能元数据，包括每回合左右手操作的自然语言描述、验证问题、技能类型及进度指示，并关联了子技能的目标关节位置与位姿。这种结构化标注使得数据集不仅可用于行为克隆，更能服务于子技能分割、任务进度预测及语言引导的机器人控制等高级研究。

使用方法

研究者可通过Hugging Face Datasets库或LeRobot工具包加载该数据集。使用前需安装相关依赖并配置路径，随后通过指定数据集名称‘HyeonseokE/SO101-FoldTowel_Ours_20epi’直接调用。加载后的数据集以字典形式提供，每个元素包含观测图像（顶部、左腕、右腕）、关节状态、末端执行器位姿、动作指令及技能标注等字段。对于模仿学习任务，典型流程包括将图像序列与状态融合作为输入，以12维动作向量作为预测目标。借助LeRobot内置的视觉化工具，用户还可在线浏览数据集的演示片段，直观检视采集质量。数据遵循Apache 2.0许可协议，便于学术与工业界广泛使用。

背景与挑战

背景概述

SO101-FoldTowel_Ours_20epi 数据集由研究机构于近年创建，依托 LeRobot 框架构建，专注于机器人操作领域的灵巧操控任务。该数据集以双机械臂完成折叠毛巾这一精细作业为核心研究问题，记录了20个演示回合、逾一万五千帧的高保真多模态数据，涵盖三视角视觉流、12维关节状态与末端执行器位姿，并融合了自然语言指令与技能验证信息。其发布为模仿学习与机器人技能迁移提供了标准化基准，在推动柔性物体操作这一挑战性课题的实证研究中具有重要价值。

当前挑战

柔性物体如毛巾具备无限自由度与高度非线性变形特性，精确建模与操控成为领域核心难题，现有感知-控制架构难以适应其形态与动力学瞬变。数据集构建需同步协调双机械臂的运动规划与接触力调控，并在有限演示中捕获足以泛化的技能表征。多模态传感器融合亦面临时空对齐挑战，高频视频流与低维状态数据间的同步精度直接影响学习算法的效能上限。

常用场景

经典使用场景

在机器人灵巧操作领域，SO101-FoldTowel_Ours_20epi数据集为双臂协同执行柔性物体折叠任务提供了标准化的学习范例。该数据集包含20个示范片段，通过SO101双臂机器人平台采集，记录左右各6自由度关节状态、末端执行器位姿以及顶部和双侧腕部相机的多视角视频流。研究者通常利用这些数据训练模仿学习模型，使机器人学会从人类演示中提取折叠毛巾的关键动作序列，包括抓取、对折、抚平等精细操作策略。数据集中自然语言标注的左右手技能类型与进度信息，为多阶段任务分解与层次化策略学习创造了条件。

衍生相关工作

该数据集进一步衍生出多项具有影响力的研究工作。基于其提供的示范数据，研究者提出了条件变分自编码器（CVAE）框架，以学习折叠动作的概率分布，增强策略的鲁棒性。部分工作将其与扩散策略（Diffusion Policy）结合，利用多模态观测生成平滑的动作序列，在毛巾折叠任务中取得优异性能。受数据集中技能标注启发，分层模仿学习架构被设计用于分解Task，通过自然语言指令实现子任务间的状态转移。此外，该数据集还催生了双臂软体操作中的动作基元提取方法，并通过域随机化技术将仿真训练的策略迁移至真实机器人平台，验证了数据驱动方法在可变形物操作领域的泛化潜力。

数据集最近研究

最新研究方向

该数据集聚焦于双臂机器人协同完成折叠毛巾这一精细操作任务，代表了机器人学习领域中模仿学习与技能泛化的前沿探索。通过LeRobot框架收集的20个示范片段，结合多视角视觉输入（顶部与左、右腕部摄像头）及12维关节状态与动作空间，为研究机器人在非结构化环境中的柔顺操控提供了标准化基准。当前，家庭服务机器人对布料等柔性物体的操作仍是难点，该数据集通过显式记录左右臂的独立技能参数（如技能类型、自然语言描述及目标位置），推动了从示教到语义化任务分解的跨模态学习发展，其公开的Apache 2.0许可亦促进了科研社区在迁移学习与数据高效机器人策略方面的协作创新。