RoboCOIN/Galbot_G1_fold_clothes_1

该数据集采用基于LeRobot的扩展格式，并且完全兼容LeRobot。This dataset uses an extended format based on LeRobot and is fully compatible with LeRobot.

搜集汇总

数据集介绍

构建方式

该数据集由北京人工智能研究院（BAAI）的RoboCOIN团队构建，旨在为双臂机器人衣物折叠任务提供标准化训练数据。数据采集采用主从臂遥操作方式，操作员通过控制Galbot_G1机器人的二指末端执行器，在真实家庭环境中的卧室场景内执行衣物折叠与整理任务。系统以30帧/秒的频率同步记录来自三个摄像头（前头部RGB、左腕部RGB、右腕部RGB）的视觉信息，以及机器人21维关节状态数据和16维动作指令。所有数据以LeRobot格式存储，共包含581个episode，总计536,843帧，压缩后数据集规模为8.31 GB。

使用方法

数据集与LeRobot框架完全兼容，用户可通过该框架直接加载parquet格式的轨迹数据和h264编码的视频文件。数据按episode组织，训练集包含episode 0至580。用户可利用yaml格式定义的21维状态特征（包括躯干、头部、双臂关节位置）和16维动作特征（对应双臂七个自由度及夹爪开度）进行策略学习。此外，丰富的JSONL注释文件可直接用于辅助训练过程，支持对夹爪运动模式、末端执行器动力学属性等高级特征的研究。建议引用相关论文及LeRobot框架以规范学术使用。

背景与挑战

背景概述

在机器人操作领域，从家庭服务到工业自动化，衣物折叠任务因其对柔性物体感知与复杂动作规划的极高要求，一直被视为灵巧操作研究的标杆性挑战。Galbot_G1_fold_clothes_1数据集由北京智源人工智能研究院（BAAI）RoboCOIN团队于2025年创建，是RoboCOIN项目的重要组成部分。该数据集聚焦于双机械臂在真实家庭卧室场景中完成衣物折叠与整理的核心研究问题，通过主从遥操作方式采集了581段高质量操作演示，总计超过53万帧数据。作为首个面向双机械臂衣物折叠的开源大规模数据集，它为模仿学习、强化学习以及机器人基础模型的研究提供了标准化的训练基准，有力推动了机器人从感知到操控的端到端学习范式发展。

当前挑战

该数据集所解决的领域挑战在于衣物折叠任务固有的高难度，包括布料的无限自由度形变、自遮挡与光照变化下的视觉感知，以及双臂协同中抓取、折叠和放置等多个原子动作的时序依赖与力控稳定性。在构建过程中，研究团队面临多重技术挑战：如何通过三条摄像头视角获取足够的视觉信息以覆盖遮挡区域，如何在保证30帧每秒连续采集的同时精确同步21维关节状态与16维动作指令，以及如何构建统一的LeRobot格式以确保跨平台兼容性。此外，数据集虽包含末端执行器加速度、方向等丰富的运动学标注，但衣物材质、颜色和初始摆放姿态的多样性仍然有限，制约了模型在更广泛家庭场景下的泛化能力，为后续研究留出了优化空间。

常用场景

经典使用场景

在机器人操作领域，织物折叠与整理任务因其高度柔性和不可预测的形变特性，长期被视为灵巧操作研究中的经典难题。Galbot_G1_fold_clothes_1数据集专为双臂机器人协同折叠衣物场景而设计，通过主从遥操作方式采集了581条高保真演示轨迹，每条轨迹均融合了丰富的多模态感知数据，包括来自三台RGB摄像头的视频流、21维机器人关节状态信息以及完整的动作指令序列。该数据集为研究双臂协同、柔性物体操作、非刚性物体形变建模与复杂顺序规划等核心科学问题提供了宝贵的基准资源，是训练和评估模仿学习、行为克隆以及基于视觉的运动策略算法的理想平台。

解决学术问题

该数据集系统性地回应了家庭服务机器人领域长期存在的几个关键学术挑战：首先是柔性物体操作的泛化性和鲁棒性困境，织物在抓取、折叠和放置过程中始终处于高度动态变化状态，传统基于刚性物体假设的模型难以胜任；其次是双臂协同控制中的时空一致性难题，左右手臂需在复杂的接触约束下精准配合；最后是构建真实世界逼真环境的稀缺性。通过提供580条独立训练样本、标准化任务标注以及多种运动学与力学特征注释，该数据集使研究人员能够在统一框架下对比不同算法的表现，显著推动了行为决策泛化能力和非结构化环境适应性的相关研究。

实际应用

从实际落地的视角审视，Galbot_G1_fold_clothes_1数据集直接面向智能家居服务机器人的核心痛点——衣物整理这一高频刚需场景。基于该数据集训练的机器人策略可无缝部署至Galbot G1人形机器人平台，在卧室等居家环境中执行自动化衣物折叠、分类与收纳任务。其蕴含的抓取、放置和折叠等原子动作能力，不仅可用于提供面向老年人和特殊群体的辅助生活服务，还可延伸至商业场景如酒店布草整理、干洗店自动化分拣以及纺织品生产线后处理环节，极大降低重复性的体力劳动强度，提升家庭和商业服务的智能化水平与运行效率。

数据集最近研究

最新研究方向

该数据集聚焦于双臂家用机器人在柔性物体操作领域的尖端研究，特别是衣物折叠这类长期被视为机器人学挑战的精细化任务。通过采集Galbot G1平台在高保真卧室场景下的581组真实世界演示，结合多视角视觉输入与21维状态-16维动作空间设计，为模仿学习与行为克隆算法提供了极具价值的基准资源。近期前沿方向集中在基于该数据集的泛化性研究，探讨如何让机器人从视觉观测中习得衣物材质感知与折叠策略的跨场景迁移能力，这与具身智能领域追求通用操作技能的浪潮高度契合。该数据集的开源贡献显著推动了家庭服务机器人从刚性物体操控向柔性物体灵巧操作的范式跨越，为后续研究在衣物类别拓展、复杂褶皱处理等方向奠定了数据根基。