RoboCOIN/AI2_Alphabot_2_organize_cosmetics_1

该数据集采用基于LeRobot的扩展格式，并完全兼容LeRobot。它专注于机器人操作任务，使用AI2_Alphabot_2机器人（配备双指末端执行器）在家庭厨房场景中执行整理化妆品任务：将透明手霜和透明洗面奶放入粉色分层储物盒中。数据集包含405个episode，总计329188帧，帧率为30 FPS，大小为16.42 GB。数据通过VR控制器遥操作收集，包括4个RGB相机视图（前胸、前头、左腕、右腕），分辨率为640x480，编码为AV1。数据集提供丰富的状态和动作数据（维度均为34），以及注释如相机参数、末端执行器方向、速度等，支持机器人学习研究。所有数据均用于训练分割，遵循LeRobot格式组织。This dataset uses an extended format based on LeRobot and is fully compatible with LeRobot. It focuses on robotic manipulation tasks, employing the AI2_Alphabot_2 robot (with a two-finger end-effector) to perform a cosmetic organization task in a household kitchen scene: placing transparent hand cream and transparent facial cleanser into a pink layered storage box. The dataset contains 405 episodes, totaling 329,188 frames at 30 FPS, with a size of 16.42 GB. Data is collected via VR controller teleoperation and includes 4 RGB camera views (front chest, front head, left wrist, right wrist) at 640x480 resolution, encoded in AV1. It provides rich state and action data (both with 34 dimensions), along with annotations such as camera parameters, end-effector direction, velocity, etc., supporting robotic learning research. All data is allocated to the training split and is organized following the LeRobot format.

搜集汇总

数据集介绍

构建方式

该数据集以家庭厨房场景为背景，利用AI2_Alphabot_2双臂机器人，通过VR控制器进行遥操作采集而来。任务旨在让机器人将透明护手霜与洗面奶依次放入粉色分层收纳盒中，数据集共包含405个演示片段，总帧数达329188帧，数据以30帧/秒的速率录制，并采用LeRobot格式进行存储与组织，确保与主流机器人学习框架的兼容性。

特点

数据集的显著特色在于其多模态、高维度的感知与动作信息。它集成了四个RGB摄像头视图（胸前、头部及左右手腕），提供480x640分辨率的视觉流；同时记录了34维的状态与动作数据，涵盖双臂关节角度、末端执行器位姿、夹爪开合度及躯干关节等，并附带加速度、方向、速度等丰富的注解信息，为细粒度机器人操作学习提供了坚实基础。

使用方法

本数据集完全兼容LeRobot框架，用户可直接通过该框架进行加载与使用。数据集已明确划分为训练集（片段0至404），并提供了规范的parquet格式数据文件和avi格式视频文件。用户可依据'data/chunk-{id}/episode_{id}.parquet'的模式路径访问状态与动作数据，结合注解文件夹中的标注信息，开展模仿学习、行为克隆或多视角视觉运动策略等研究。

背景与挑战

背景概述

该数据集由北京人工智能研究院（BAAI）的RoboCOIN团队于2025年创建，旨在为双臂机器人精细化操作提供高质量的演示数据。核心研究问题聚焦于家庭场景下透明物体（如护手霜、洗面奶）的抓取与分层放置任务，通过VR遥操作采集405条完整轨迹，包含16.42GB的多视角视频与34维状态动作信息。作为RoboCOIN开源项目的重要组成部分，该数据集为模仿学习与机器人操作策略研究提供了标准化的基准资源，推动了家庭服务机器人从简单抓取向复杂分层操作的范式演进。

当前挑战

所解决的领域挑战在于透明物体因反光与几何模糊性导致的视觉感知困难，以及分层收纳场景中对顺序放置与避碰的精细动作要求。构建过程中面临的主要挑战包括：1）透明材质在RGB图像中的特征弱化，需依赖多摄像头多角度补偿；2）VR遥操作下的人机映射精度与操作一致性难以保证；3）34维高维动作空间中的轨迹平滑性与可复现性控制；4）家庭厨房环境中光照与背景干扰对数据质量的影响。

常用场景

经典使用场景

在机器人学习与操控研究领域，该数据集为模仿学习和强化学习提供了精细化的操作轨迹。其核心应用场景聚焦于家庭厨房环境下的精细化物品整理任务，即要求AI2_Alphabot_2机器人通过双指末端执行器，将透明质地的护手霜和洗面奶精准放置于粉色分层收纳盒中。数据集中包含405个演示片段，涵盖超过32万帧多视角视觉信息及34维的状态与动作空间，为训练具备复杂抓取与放置能力的机器人策略奠定了坚实基础。

衍生相关工作

基于该数据集的核心框架，衍生出了若干具有影响力的经典工作。其所属的RoboCOIN项目开创性地提出了集成双机器人协同数据采集平台，推动了大规模现实操作数据的标准化构建。LeRobot框架的兼容性设计使其成为跨机器人迁移学习的基准数据集，催生了众多关于多视角融合策略、透明物体操作模型及子任务分解算法的后续研究。这些工作共同构成了机器人操作领域从数据收集到模型部署的完整闭环生态。

数据集最近研究

最新研究方向

在具身智能与机器人操作领域，AI2_Alphabot_2_organize_cosmetics_1数据集聚焦于家居场景下的精细化双手协同操作研究，其核心任务为将透明护肤品拾取并放置于分层收纳盒中，这直接呼应了当前机器人学习从结构化工业环境向非结构化家庭场景迁移的前沿趋势。依托RoboCOIN项目与LeRobot框架，该数据集提供了405个高质量演示片段、多视角视觉输入及丰富的末端执行器运动学与力触觉标注，为模仿学习和技能泛化研究提供了关键基准。其研究热点在于利用高自由度AlphaBot双臂平台和VR遥操作机制，探索透明、易变形物体在杂乱背景下的抓取与精确放置策略，这对于推动服务机器人完成日常整理、收纳等精细化操作任务具有显著意义，并为人与机器人协作中的安全交互与任务分层分解提供了宝贵的数据基础。