RoboCOIN/AI2_Alphabot_2_sort_personal_care_items

该数据集使用基于LeRobot的扩展格式，并且完全兼容LeRobot。

This dataset uses an extended format based on LeRobot and is fully compatible with LeRobot.

搜集汇总

数据集介绍

构建方式

该数据集源自RoboCOIN团队于北京智源人工智能研究院发起的双机械臂协作项目，聚焦零售超市场景下洗涤与个人护理用品的分类任务。数据通过VR控制器遥操作AI2_Alphabot_2机器人完成采集，共包含496个演示回合，累计超过45万帧。每回合记录34维的状态与动作信息，涵盖双机械臂的关节角度、末端执行器位姿、夹爪开合度及躯干与颈部关节状态，并同步采集四路RGB视频。数据以LeRobot兼容格式组织，划分为单一训练集，便于直接接入主流模仿学习与机器人操作模型。

使用方法

数据集基于LeRobot框架构建，可直接通过Hugging Face的datasets库加载使用。用户需先接受访问协议并引用相关学术论文。数据文件遵循data/chunk-{id}/episode_{id}.parquet的路径模式，视频文件则按观测相机类型分别存储于videos目录。建议研究者结合框架内置的DataLoader进行批次划分与预处理，利用注释文件中的语义标签辅助进行行为识别或技能分解。默认训练集覆盖全部演示回合，适用于端到端模仿学习、基于状态的动作映射以及多模态融合等典型机器人学习范式。

背景与挑战

背景概述

该数据集由北京智源人工智能研究院（BAAI）RoboCOIN团队于2025年发布，旨在推动双臂协作机器人在零售场景中精细操作能力的研究。核心研究问题聚焦于如何使机器人通过模仿学习完成洗护用品等个人护理物品的分类拣选任务，涵盖抓取、移动、传递和放置等原子动作。数据集包含496个演示片段，总帧数逾45万，通过四视角RGB相机捕捉高保真视觉信息，并融合34维状态与动作空间，为双臂协同控制提供了标准化基准。其影响力体现在两方面：一方面作为RoboCOIN项目的重要组成部分，填补了真实世界双臂操作数据集的稀缺性；另一方面，与LeRobot框架兼容的设计促进了社区复现与模型迁移，成为具身智能领域研究协作策略与多模态感知融合的关键资源。

当前挑战

数据集致力于解决的两大核心挑战如下。其一，在领域问题层面，现有机器人操作数据集多聚焦于单臂任务，缺乏对双臂协作中动态协调与空间约束的系统性建模，而零售场景中物品的多样化特征（形状、材质、堆叠方式）进一步加剧了视觉鲁棒性与运动规划复杂度的矛盾。其二，在数据集构建层面，需克服高保真遥操作设备（如VR控制器）带来的延迟与精度波动问题，确保34维动作空间与真实物理世界的一致性；同时，495个训练片段虽规模可观，但单一场景（超市）与受限物体类别（六种箱子及洗护用品）可能限制模型泛化能力，且13.57GB的大容量数据对存储与实时处理提出了技术挑战。

常用场景

经典使用场景

在机器人自主操作领域，该数据集的核心应用场景聚焦于双机械臂的协同分拣任务。具体而言，它提供了在真实世界零售超市环境中，一台拥有双手臂的AI2_Alphabot_2机器人如何协作完成洗漱与个人护理用品分类的完整示范数据。每一段数据轨迹都记录了从视觉感知、目标抓取、物体传递到精确放置的完整操作链条，为学习双机械臂在非结构化环境中的协调运动与物体重排策略奠定了坚实基础。

解决学术问题

该数据集针对机器人学习中的关键难题——双臂协同操作与物体分类——提供了标准化的研究基准。它使研究者能够深入探索多模态数据融合（视觉与关节状态）、双臂运动规划以及任务级的分层策略学习。通过提供包含丰富标注的大规模真实操作数据，它有力地推动了对如何从示范中高效泛化到新物体布局和新场景这一核心学术问题的理解，其影响辐射到模仿学习、强化学习与机器人认知的交叉领域。

实际应用

在产业落地层面，该数据集直接服务于零售与仓储物流领域的自动化需求。其模拟的超市货架前洗护用品分类场景，精确对应了智能机器人进行商品补货、整理和订单分拣的实际业务。基于此数据集训练的模型，能够使机器人灵巧地处理形状各异、质地多样的商品，在减少人力成本的同时提升操作的一致性与可靠性，从而加速服务机器人在商业环境中从演示原型走向大规模部署的进程。

数据集最近研究

最新研究方向

该数据集聚焦于灵巧双机械臂在真实零售场景中的协同分拣任务，前沿研究方向围绕异构双臂操作策略的泛化性展开。当前热点结合了大规模遥操作数据采集与模仿学习框架（如LeRobot），通过细粒度标注（末端执行器速度、加速度、夹爪模式等）推动机器人从单纯运动控制向语义理解过渡。其意义在于为超市类非结构化环境下的精细化操作提供了高保真基准——496个回合、四视角视觉与34维状态-动作空间的组合，能够支撑双臂动态协作中的任务规划与接触推理研究，尤其对“抓取-传递-放置”原子动作链的端到端学习具有关键推动作用。作为RoboCOIN开源计划的核心组件，该数据集为降本增效的通用双臂智能优化开辟了新路径。