RoboCOIN/AI2_Alphabot_2_organize_cosmetics

该数据集基于LeRobot格式扩展并完全兼容LeRobot。它包含407个episodes，总计330781帧，帧率为30 FPS，数据集大小为16.50 GB。使用名为AI2_Alphabot_2的机器人，配备双指末端执行器，通过VR控制器进行遥操作。传感器包括四个RGB摄像头：cam_front_chest_rgb、cam_front_head_rgb、cam_left_wrist_rgb和cam_right_wrist_rgb。场景设置为家庭浴室，涉及三个对象：白色洗面奶、透明西瓜霜和粉色分层储物盒。主要任务是从桌子上拿起洗面奶和西瓜霜，并将它们放入分层储物盒中。数据集还包括机器人状态数据、动作命令、视频文件、元数据和丰富注释，适用于机器人操作学习。This dataset uses an extended format based on LeRobot and is fully compatible with LeRobot. It contains 407 episodes with a total of 330781 frames at 30 FPS, and the dataset size is 16.50 GB. The robot used is named AI2_Alphabot_2, featuring a two-finger end-effector and teleoperated via a VR controller. Sensors include four RGB cameras: cam_front_chest_rgb, cam_front_head_rgb, cam_left_wrist_rgb, and cam_right_wrist_rgb. The scene is set in a household bathroom, with objects including a white facial cleanser, transparent watermelon frost, and a pink layered storage box. The primary task is to pick up the facial cleanser and watermelon frost from the table and place them into the tiered storage box. The dataset also includes robot state data, action commands, video files, metadata, and rich annotations, suitable for robotic manipulation learning.

搜集汇总

数据集介绍

构建方式

该数据集由北京智源人工智能研究院RoboCOIN团队构建，聚焦于家庭浴室场景下的化妆品整理任务。数据通过AI2_Alphabot_2双臂机器人采集，采用VR控制器遥操作方式，由操作员远程操控机器人完成从桌面上拾取洗面奶和西瓜霜并放入分层收纳盒的精细操作。整个数据集包含407条完整任务轨迹，共计330,781帧时序数据，以30帧/秒的频率记录，原始数据规模达16.5 GB，为机器人学习提供了高质量的行为示范。

特点

数据集的核心特点在于其多模态与结构化的信息组织。除了常规的机器人关节状态和执行器位姿外，数据还配套了四路同步的RGB视觉观测，包括胸部、头部、左右手腕四个视角，每个视角均采用AV1编码的640×480分辨率视频流。此外，数据附带丰富的语义标注，如末端执行器加速度、运动方向、速度等级以及夹爪活动模式等，支持从原始动作克隆到高层次行为分析等多样化的研究需求。

使用方法

数据集完全兼容LeRobot格式，便于使用开源机器人学习框架进行加载和训练。数据按标准分块存储，Parquet文件记录状态与动作序列，视频文件则对应各摄像头视角的观测。使用者可直接通过LeRobot的数据加载器读取episode索引和task指令，用于训练模仿学习或强化学习策略。数据集仅包含一个训练集（0至406号轨迹），并提供了完整的相机参数和元数据文件，便于进行模型评估和场景复现。

背景与挑战

背景概述

在机器人操作领域，从非结构化环境中精确抓取并放置物体一直是研究热点，特别是家庭场景中细小、透明或易碎物品的操作更具挑战性。该数据集由北京智源人工智能研究院（BAAI）的RoboCOIN团队于2025年创建，旨在通过开放源代码的双臂机器人数据收集框架，推动集成化操作研究。其核心研究问题在于，如何利用真实世界采集的高质量演示数据，使机器人学会在浴室桌面环境中，将洁面乳和西瓜霜等日常化妆品有序归入多层收纳盒。该数据集包含407个演示片段及超过33万帧的多视角视频，依托LeRobot标准格式，为模仿学习与操作技能泛化提供了宝贵的基准资源，在家庭服务机器人社区中具有重要影响力。

当前挑战

该数据集所应对的领域核心挑战在于，精细化家庭操作任务中物体外观（如透明瓶身）与空间布局的多样性，导致机器人难以鲁棒地感知、抓取与精准放置。具体而言，数据集构建过程面临三重困难：一是传感器融合难题，需同步来自胸前、头部及双腕四个RGB摄像头的视角流，避免遮挡与光照变化影响；二是动作维度高（34维联合状态），从双臂协调到夹爪控制需精确标注；三是数据采集的重复性与一致性保障，以确保407个演示轨迹的可复现性。此外，透明与白色物体的视觉特征弱，增加了物体检测与姿态估计的难度，对模型的泛化能力提出严峻考验。

常用场景

经典使用场景

在机器人学习与操控领域，AI2_Alphabot_2_organize_cosmetics数据集为模仿学习和精细操作研究提供了理想的实验平台。该数据集专注于家庭浴室场景中的化妆品整理任务，要求机器人从桌面拾取洗面奶与西瓜霜，并将其放入分层收纳盒中。通过407个高保真演示片段，研究者可利用多视角视觉输入（包括胸部、头部及双腕相机）与34维关节空间状态动作数据，训练出能够执行抓取与放置原子动作的策略网络。这一设定不仅测试了机器人在非结构化环境中的物体识别与抓取规划能力，更推动了从人类演示到机器人技能迁移的算法发展。

实际应用

在实际应用中，该数据集为家庭服务机器人实现自动化洗漱用品整理提供了可直接迁移的解决方案。基于该数据训练的模型可集成至商用清洁机器人或辅助生活系统中，执行化妆品的分类、归位与收纳操作，从而减轻老年或行动不便人士的家务负担。其多视角感知能力与高频率数据流（30 FPS）使得机器人能够在动态光照与杂乱桌面条件下保持操作可靠性。此外，数据标准格式与LeRobot框架的兼容性，降低了从研究原型到量产产品的转化成本，加速了智能家居场景中机器人执行复杂拾取-放置任务的商业化进程。

衍生相关工作

围绕该数据集，衍生出一系列具有影响力的研究工作。RoboCOIN团队基于此数据发布了双臂协同操控基准，并提出了面向精细动作的分层强化学习框架。后续工作包括利用扩散策略进行多模态视觉-动作联合建模，以及通过逆强化学习从演示中推断奖励函数，从而提升任务泛化能力。数据集中提供的夹爪模式与活动注释，还催生了面向灵巧手抓取的安全约束算法研究。这些衍生工作共同确立了AI2_Alphabot_2_organize_cosmetics作为评估机器人学习算法性能的标杆数据集地位，并在NeurIPS、ICRA等顶级会议中持续产出高质量论文。