RoboCOIN/AI2_Alphabot_2_move_test_tube

该数据集基于LeRobot格式扩展，并完全兼容LeRobot框架。它是一个机器人操作数据集，专注于用一只手将试管重新定位到试管架的不同槽位的任务。数据集包含69个episodes，总计33010帧，大小为2.93 GB，帧率为30 FPS。使用名为AI2_Alphabot_2的机器人，配备双指末端执行器，并通过VR控制器进行遥操作。传感器包括4个RGB摄像头：前胸摄像头、前头摄像头、左手腕摄像头和右手腕摄像头，分辨率均为640x480，视频编码为AV1。数据集结构包括视频文件、机器人状态数据（如关节位置、末端执行器位置和旋转）、动作数据以及丰富的注释（如末端执行器方向、速度和夹爪活动）。数据组织为parquet格式，分为训练集（episodes 0到68）。该数据集由北京智源人工智能研究院的RoboCOIN团队贡献，适用于机器人学习和模仿学习研究。This dataset is extended based on the LeRobot format and fully compatible with the LeRobot framework. It is a robotic manipulation dataset focusing on the task of repositioning test tubes into different slots of a test tube rack using a single hand. The dataset contains 69 episodes, totaling 33010 frames, with a size of 2.93 GB and a frame rate of 30 FPS. The robot used is named AI2_Alphabot_2, which is equipped with a two-finger end-effector and teleoperated via a VR controller. The sensors include 4 RGB cameras: the front-chest camera, front-head camera, left-wrist camera and right-wrist camera, all with a resolution of 640×480 and video encoded in AV1. The dataset structure consists of video files, robot state data (such as joint positions, end-effector positions and rotations), action data and rich annotations (such as end-effector orientation, velocity and gripper activity). The data is organized in Parquet format and split into the training set (episodes 0 to 68). This dataset is contributed by the RoboCOIN Team from Beijing Zhiyuan Artificial Intelligence Research Institute, and is applicable to research in robotic learning and imitation learning.

搜集汇总

数据集介绍

构建方式

该数据集源自RoboCOIN项目，由北京人工智能研究院（BAAI）团队构建，专注于双手机器人精细操作。数据集基于LeRobot扩展格式，通过VR控制器远程操控AI2_Alphabot_2机器人，在真实实验室场景中，使用二指末端执行器执行将透明试管移至试管架不同槽位的任务。共计采集69个示范片段（episodes），包含33010帧图像，数据规模达2.93 GB。数据以分块形式存储，每块含1000个片段，视频文件采用AV1编码，分辨率为640x480，帧率30 FPS，并附带34维的状态与动作数据。

特点

数据集显著特征在于其多模态与精细化标注。配备四个RGB摄像头（前胸、前头部、左右手腕），提供多视角视觉信息。状态与动作空间维度均为34，涵盖双臂7关节角度、末端执行器位置与姿态、夹爪状态、颈部与躯干关节等完整运动学参数。此外，数据集包含丰富标注信息，如末端执行器加速度、速度、方向、夹爪模式及活动状态，支持模仿学习、行为克隆等多种算法研究。所有数据遵循统一坐标系，物理单位标准化。

使用方法

数据集完全兼容LeRobot框架，可直接用于训练与评估。用户可通过加载Parquet格式数据文件获取状态和动作序列，同时访问对应视频观测。训练集包含0至68号片段，适合交叉验证。为支持复现与引用，使用前需同意引用相关论文。数据预处理中可提取原子动作（拾取、移动、放置）进行子任务学习。配合RoboCOIN开源工具链，可实现数据可视化、重放与模型集成，便于机器人操作技能的迁移与泛化研究。

背景与挑战

背景概述

AI2_Alphabot_2_move_test_tube数据集由北京人工智能研究院（BAAI）的RoboCOIN团队于2025年创建，旨在推动机器人精细操作领域的发展。该数据集聚焦于一个核心研究问题：如何使双机械臂机器人通过单臂操作，将透明试管在试管架的不同槽位间进行重新放置。数据集收录了69个演示片段，共计33010帧图像，并通过四台RGB摄像头（前胸、前头、左右手腕）从多视角捕捉操作细节，为研究透明物体抓取与精密运动规划提供了高保真、多模态的基准资源。作为RoboCOIN项目的重要组成，该数据集结合LeRobot格式与丰富注释，在机器人学习社区中具有显著影响力，为后续模仿学习与强化学习研究奠定了数据基础。

当前挑战

该数据集所解决的领域挑战在于透明物体的视觉感知与精密操作：玻璃试管在实验室场景中极易产生反光与透射，使得传统RGB摄像头难以准确识别其位姿与抓取点，同时试管与管架间的微小间隙要求机械臂具备亚毫米级的运动控制精度。在构建过程中，团队面临多方面的实际困难，包括使用VR控制器进行遥操作时需确保单臂动作的流畅性与一致性，协调四路视频流与34维状态及动作数据的高频同步采集（30FPS），以及针对透明材质对象设计鲁棒的标注方案（如末端执行器速度、方向、加速度等注释），以克服视觉歧义并提升数据集在真实世界应用中的实用价值。

常用场景

经典使用场景

在机器人操作研究领域，精密的实验室器具搬运任务一直是评估灵巧操作能力的试金石。AI2_Alphabot_2_move_test_tube 数据集聚焦于单臂将透明试管从试管架的一个槽位重新放置到另一个槽位的原子化操作，包含69个演示片段、33010帧高质量时序数据及四视角视觉信息。该数据集最经典的使用场景是作为模仿学习与行为克隆的基准测试平台，研究者可基于其标准化任务描述和丰富的传感器模态（前胸、头部及双手腕RGB相机），训练机器人学习精准的拾取、移动与放置操作策略，尤其在处理透明物体这类视觉挑战性场景中展现独特价值。

实际应用

在实际应用层面，该数据集的落地场景紧密围绕生物医疗与化学实验室自动化展开。经过该数据集训练的机器人系统能够自主完成试管转移、试剂分装等精密操作，显著减少人类在危险化学品处理或高重复性实验中的参与。此外，其单臂灵巧操作范式可扩展至手术辅助器械的精准操控、半导体晶圆的微米级搬运，以及博物馆文物的无损转移等对力触觉与视觉协同要求极高的工作环境，为服务机器人在专业领域的人机协作提供了可复用的操作模块。

衍生相关工作

该数据集衍生出的经典学术工作主要集中在基于视觉的机器人操作策略学习与多模态融合方法上。依托其丰富的注释信息（末端执行器加速度、方向、速度及夹爪活动状态），研究者发展出多阶段奖励函数设计、层级模仿学习框架，以及融合低成本腕部视觉与全局观测的时空注意力模型。该数据集所在的 RoboCOIN 项目进一步催生了双臂协调操作策略的对比研究，以及与 LeRobot 生态兼容的大规模预训练模型适配工作，推动了仿真到真实迁移（Sim-to-Real）技术在高精度操作任务中的突破。