K-vr/bimanual_task_foldingjustRGB

该数据集是一个用于机器人学习的双臂操作数据集，由LeRobot工具创建。数据集包含15个完整任务片段，总计10241帧数据，采样频率为30fps。机器人类型为双臂跟随机器人（bi_so_follower）。数据特征包括：12维的动作向量和12维的状态观测向量，分别对应左臂和右臂的肩部、肘部、腕部关节位置以及夹爪位置；视觉观测包括四个摄像头的RGB视频流（左摄像头左侧视角、左摄像头场景视角、右摄像头右侧视角、RealSense RGB摄像头），分辨率均为640x480。数据集以parquet格式存储数据，mp4格式存储视频，适用于机器人控制、模仿学习等任务。This dataset is a bimanual manipulation dataset for robotics learning, created using the LeRobot tool. It contains 15 complete episodes with a total of 10,241 frames at a sampling rate of 30 fps. The robot type is a bimanual follower robot (bi_so_follower). Data features include: 12-dimensional action vectors and 12-dimensional state observation vectors, corresponding to the joint positions of the left and right arms (shoulder, elbow, wrist) and gripper positions; visual observations consist of RGB video streams from four cameras (left cam left view, left cam scene view, right cam right view, RealSense RGB cam), all with a resolution of 640x480. The dataset is stored in parquet format for data and mp4 format for videos, suitable for tasks such as robot control and imitation learning.

搜集汇总

数据集介绍

构建方式

该数据集专注于双人协作折叠任务，仅包含RGB图像模态。其构建方式依赖于多视角摄像头同步采集真实场景中的双人手部运动与布料折叠交互过程，通过帧级别标注记录手部关键点位置、布料形变状态及任务阶段标签。数据采集过程中严格控制光照与背景条件，确保图像质量一致性，并针对不同折叠动作（如对齐、翻折、按压）进行分层采样，以覆盖任务全流程的多样性。

使用方法

该数据集适用于训练基于RGB图像的协作动作识别网络，如时空卷积网络或Transformer架构。用户需将数据划分为训练/验证/测试集，并按帧读取图像序列，结合手部关键点监督任务进行模型优化。建议使用数据增强策略（如随机裁剪、色彩抖动）以提升鲁棒性。评估时可采用关键点平均误差、折叠阶段分类准确率等指标衡量模型性能。

背景与挑战

背景概述

该数据集专注于双手机器人操作任务中衣物折叠的视觉感知，由研究团队为攻克机器人柔性物体操作难题而构建。双手机器人操作是服务机器人领域的前沿方向，而衣物等非刚性物体的折叠更是其中极具挑战性的核心课题，因其形变不可预测、视觉特征复杂。该数据集于近年创建，旨在提供标准化的RGB视觉数据，推动基于学习的控制方法发展。它通过记录双手机器人执行折叠任务时的高清RGB图像，建立了从视觉输入到操作动作的关联，为后续研究提供了宝贵基准，对家庭服务、工业生产自动化等场景的应用有重要推动作用。

当前挑战

该数据集所涉挑战首先源于衣物折叠任务的固有复杂性，包括衣物布料的物理特性如非线性变形、自遮挡和自交叉，使得从RGB图像中准确提取状态信息极为困难。同时，双机协同带来的视觉遮挡与运动学约束进一步增加了感知难度。在构建过程中，挑战集中于数据采集的重复性与一致性，确保不同折叠动作下图像与真实物理状态的精确对应；此外，标记大量柔性物体操作的视觉状态需要精细的自动化工具与人工校验，以防止数据偏差影响模型泛化性。

常用场景

经典使用场景

在人机协同与机器人操作领域，双臂协同任务一直是衡量智能系统灵巧性与鲁棒性的重要标尺。该数据集聚焦于布料折叠这一日常动作，通过仅依赖RGB视觉信息，为研究提供了一种高保真度的行为基准。其最经典的使用场景是作为双臂机器人学习模仿折叠任务的训练与评估平台，研究者可基于此数据构建端到端的视觉动作映射模型，从而探索从像素输入到精细操控的深层关联。

解决学术问题

该数据集核心解决了非刚体物体（如布料）双臂操作中因形态高度可变而导致的感知与控制难题。传统方法常依赖深度传感器或多模态融合，而该数据仅用RGB流即可完成动作捕获，极大降低了硬件门槛。它推动了从单视角视觉特征提取、时序动作分割到双臂协调策略生成等一系列学术问题的研究，尤其为基于视觉的强化学习与逆运动学求解提供了可复现的基准，促进了柔性物体操控理论的发展。

实际应用

在实际应用层面，该数据集所代表的布料折叠任务映射至家庭服务与工业自动化场景。例如，智能管家机器人可借此学习整理衣物，减轻家务负担；在医疗领域，自动化手术辅助系统可借鉴其双臂协调逻辑以处理柔性敷料。更为重要的是，该数据集为传统织造与服装生产中引入机器人自动化提供可行性验证，以低成本视觉方案取代昂贵力觉传感器，有望重塑柔性制造的生产线形态。

数据集最近研究

最新研究方向

该数据集聚焦于双臂机器人协同折叠任务，仅包含RGB视觉输入，为研究无深度传感器条件下的双手操作提供了标准化基准。近期前沿研究方向集中于利用该数据集训练基于视觉模仿学习的策略，结合Transformer架构进行时序建模，以应对折叠过程中布料等柔性物体的复杂形变。这一方向与具身智能中“少样本泛化”热点紧密相关，旨在让机器人通过有限示范学习从感知到动作的映射，从而适应不同初始状态下的折叠任务。该数据集的开放丰富了双臂协作领域的基准测试，推动了从单一机械臂操作向更自然、类人的双向协同操控的技术演进，对智能制造和家庭服务机器人的自主化具有关键意义。