rack_test_tube_2

这是一个使用LeRobot创建的机器人操作数据集，包含10个剧集，5702帧图像，分为1个任务，共有20个视频文件。数据集提供了包括动作、状态、第三人称视角和左臂视角视频等多种特征信息。

搜集汇总

数据集介绍

构建方式

在机器人操作领域，rack_test_tube_2数据集通过LeRobot平台精心构建，采用双机械臂系统记录实验过程。数据集包含10个完整实验片段，总计5702帧数据，以30fps的采样率捕获，每个片段被划分为1000帧的数据块。数据以Parquet格式存储，包含机械臂关节角度、末端执行器状态等12维动作向量，以及1080p分辨率的多视角视频流，全面记录了试管架操作任务的动态过程。

特点

该数据集展现了实验室自动化场景下的精细操作特性，其核心价值在于同步记录了双机械臂系统的12自由度关节控制信号与多视角视觉反馈。第三视角和左臂视角的AV1编码视频流以1920×1080分辨率呈现，配合精确的时间戳和帧索引，为研究机械臂协同操作提供了多模态数据支持。数据集采用Apache-2.0许可，其结构化特征设计特别适合强化学习在机器人控制领域的应用研究。

使用方法

研究者可通过解析Parquet文件获取机械臂的关节角度、夹持器状态等控制信号，结合配套视频数据重建完整操作场景。数据路径采用chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet的命名规范，便于程序化访问。建议使用Python的Pandas或PyArrow库处理特征数据，同时利用OpenCV等工具分析视频流，通过帧索引实现多模态数据的时间对齐，最终建立端到端的机器人操作学习模型。

背景与挑战

背景概述

rack_test_tube_2数据集由LeRobot团队开发，专注于机器人技术领域，特别是实验室自动化任务。该数据集旨在为双手机器人（bimanual_so）的操作提供丰富的训练和评估资源，包含10个完整的情节、5702帧数据以及20个视频片段。其核心研究问题聚焦于如何通过多模态数据（包括关节状态、视觉观察等）提升机器人在复杂环境中的操作能力。尽管具体创建时间和主要研究人员信息尚未公开，但其基于Apache 2.0许可证的开源特性，为机器人学习算法的研究提供了重要支持。

当前挑战

该数据集面临的挑战主要体现在两个方面：领域问题方面，双手机器人操作的精确协调与多模态感知融合仍是未完全解决的难题，尤其在实验室自动化这类高精度要求场景中；数据构建方面，大规模多视角视频数据（如1080p分辨率的三方视角和机械臂视角）的同步采集、存储与标注需要克服极高的技术复杂度，且12维关节动作空间的多样性对数据质量提出了严苛要求。

常用场景

经典使用场景

在机器人控制与自动化实验室环境中，rack_test_tube_2数据集被广泛用于双机械臂协同操作的算法验证。其高精度关节动作数据和多视角视频记录，为研究者提供了模拟试管架操作任务的完整闭环验证环境，特别是在机械臂轨迹规划、抓取策略优化等关键环节的模型训练中展现出独特价值。

实际应用

在实验室自动化场景中，该数据集支撑了试管分拣系统的智能化升级。基于其构建的深度学习模型已成功应用于生物实验室的样本处理流水线，实现了从单试管抓取到多试管协同转移的复杂操作，显著提升了高通量实验的可靠性和效率。

衍生相关工作

以该数据集为基础，研究者开发了基于Transformer的双臂动作预测框架BiArmFormer，相关成果发表在ICRA 2023。同时其多模态数据格式已成为LeRobot生态系统的标准接口，启发了包括视觉伺服控制、操作技能迁移等一系列衍生研究。