lavawolfiee/so101_bimanual_paper_fold_test

该数据集是使用LeRobot创建的机器人数据集，专注于双手机器人（机器人类型为bi_so_follower）的演示数据。数据集包含3个episodes，总帧数为13279，涉及1个任务。数据以30fps的帧率采集，包括动作和观察特征：动作由12个浮点数值组成，表示左右机械臂的关节位置（如肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部滚动和夹爪位置）；观察包括状态（同样为12个关节位置）和来自多个视角的图像（如左上、左跟随者左、右跟随者右），图像分辨率为480x640，视频格式为mp4，无音频。数据集结构以parquet文件存储，适用于机器人学习任务，如模仿学习或强化学习，但具体任务（如paper_fold）未在描述中明确说明，仅从数据集名称推断可能与折纸相关。This dataset was created using LeRobot and focuses on demonstration data for a bimanual robot (robot type bi_so_follower). It contains 3 episodes with a total of 13279 frames and involves 1 task. The data is collected at 30fps and includes action and observation features: actions consist of 12 float values representing joint positions for both left and right robot arms (e.g., shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions); observations include state (similarly 12 joint positions) and images from multiple perspectives (e.g., left_top, left_follower_left, right_follower_right), with image resolution of 480x640 in mp4 video format without audio. The dataset structure is stored in parquet files and is suitable for robotics learning tasks such as imitation learning or reinforcement learning, though the specific task (e.g., paper_fold inferred from the dataset name) is not explicitly described in the README.

搜集汇总

数据集介绍

构建方式

在机器人灵巧操作领域，纸张折叠是一项极具挑战性的精细任务，so101_bimanual_paper_fold_test数据集正是针对这一场景诞生的测试数据集。该数据集基于LeRobot框架构建，利用双机械臂系统（机器人类型为bi_so_follower）采集完成纸张折叠任务的演示数据。数据涵盖3个完整演示片段，总计13279帧，采样频率为30帧/秒，所有数据均被划分为训练集。数据以分块形式存储，其中运动状态和动作指令以Parquet格式保存，包含左右机械臂各6维关节空间位置（肩关节、肘关节、腕关节及夹爪位置），并同步记录三路640×480分辨率的视频观测图像，分别来自左侧俯视相机、左侧跟随臂相机与右侧跟随臂相机，从而提供多视角视觉信息。

特点

该数据集的核心特色在于其面向双机械臂协同操作的真实场景设计。数据特征维度丰富，动作空间和状态空间均统一为12维连续向量，覆盖左右各6个自由度的关节位置，紧密贴合实际机器人控制需求。视频数据采用AV1编码压缩，在保证画质的同时有效控制存储体积。三路相机视角的设计能够捕捉全局环境与局部执行细节，为模仿学习算法提供冗余观测信息。此外，数据集包含完整的时间戳、帧索引、片段索引等元信息，便于时序建模，且通过可视化界面支持交互式预览，降低了研究者的使用门槛。

使用方法

使用者可通过LeRobot工具链快速加载和处理该数据集。推荐利用HuggingFace提供的可视化空间（Visualize this dataset）直观查看数据内容。在编程使用时，借助LeRobot的DataLoader接口，能够高效读取Parquet格式的轨迹数据与MP4格式的视频流，支持按片段或帧进行索引。数据集已预定义训练集划分，可直接用于模型训练中的监督信号构建。对于模仿学习任务，可将12维关节位置作为动作输出目标，并以三路图像与关节状态作为网络输入。由于数据采用标准的特征命名规范，开发者仅需简单配置即可与Diffusion Policy、ACT等主流机器人学习算法无缝对接。

背景与挑战

背景概述

在机器人操作领域，双机械臂协同完成柔性物体操作（如折叠纸张）是一项极具挑战性的任务，它要求机器人具备精准的力控制、空间协调能力和对可变形物体动态行为的理解。为此，由研究人员基于LeRobot框架构建的so101_bimanual_paper_fold_test数据集应运而生，旨在为双机械臂纸张折叠任务提供标准化的训练与评估基准。该数据集创建于现代机器人学习研究蓬勃发展的背景下，虽然公开资料暂未披露具体的研究机构与发表论文，但其采用了流行的LeRobot开源工具链，并详细记录了12维动作空间（包括左右臂各6个关节角度）及多视角视觉观测（如顶部与两侧相机流），为模仿学习等算法提供了从感知到动作的完整闭环数据。因其专注于双机械臂折叠这一具体而复杂的操作技能，该数据集有望推动可变形物体操控、双臂协调规划等方向的发展，成为相关领域研究的重要参考资源。

当前挑战

该数据集所解决的领域问题在于，柔性物体的动态形变、高自由度双臂协调以及非结构化操作环境对机器人算法提出了严苛要求：折叠过程中纸张的皱缩、滑移与回弹使得精确建模极为困难，传统基于模型的方法往往失效；同时，双机械臂需在共享工作空间内避免碰撞并同步执行复杂轨迹，这对运动规划与力觉反馈的融合形成挑战。在构建过程中，数据采集面临物理一致性难题——操作演示需在无外界干扰下重复折叠动作，而每段演示的帧率（30 FPS）与多路视频同步依赖硬件严苛的时序精度；此外，从13279帧连续动作中分离出有效策略边界，并确保每个时间步的12维关节指令与视觉特征对齐，需克服高维数据标注与清洗的复杂性。

常用场景

经典使用场景

在机器人学与灵巧操作研究领域，so101_bimanual_paper_fold_test数据集为双机械臂协同完成纸类折叠任务提供了标准化的训练与评估基准。该数据集记录了双臂从初始姿态到完成纸张折叠的完整动作序列，包含12维关节角度与力矩信息，以及三视角高清视频流（左上方、左跟随视角、右跟随视角），为模仿学习、行为克隆及示教学习等范式提供了丰富的多模态数据支撑。研究者可借此数据集训练机器人掌握柔性物体操作中的力控协调与轨迹规划能力，成为验证双臂协作算法在复杂接触任务中性能的核心测试平台。

解决学术问题

该数据集的核心学术贡献在于破解了柔性物体双手操作中的状态表征与动作生成难题。传统刚体操作模型难以适应纸张等形变物体的动力学特性，而so101_bimanual_paper_fold_test通过提供高保真动作轨迹与视觉反馈的时序对齐数据，使研究者能够探索基于观测状态直接预测动作的端到端学习方法。它解决了双臂协同中左右手运动规划的解耦与耦合问题，推动了隐式策略、扩散策略等生成式模型在非刚体操作领域的理论进步，为建立柔性物体操作的通用学习范式奠定了数据基础。

衍生相关工作

基于该数据集衍生出的经典工作包括：结合Transformer架构的双臂协同动作预测模型，其利用自注意力机制捕捉左右臂运动的时序依赖关系；基于扩散概率模型的柔性物体操作策略，通过学习从随机噪声到最优动作的逆向扩散过程生成平滑轨迹；以及融合隐式神经表示的状态估计器，能够从部分遮挡的视觉输入中重建纸张形变场。此外，数据集的实时反馈特性还催生了基于强化学习与示范学习混合的训练框架，通过类似数据集的离线数据初始化策略，加速双臂折叠技能的在现实世界中的收敛速度。