hojinlab/bimanual_so101_test

该数据集由LeRobot创建，主要用于机器人技术领域。数据集包含5个总剧集，490个总帧数，1个总任务数，帧率为30fps。数据集的结构包括动作、观察状态、图像等多个维度的数据。动作数据包括左右肩、肘、腕和夹持器的位置信息；观察状态数据与动作数据类似；图像数据则包括左前、右前和右顶三个视角的视频数据，分辨率为480x640，3通道。数据集的许可证为apache-2.0。

This dataset was created using LeRobot and is primarily used in the field of robotics. The dataset contains a total of 5 episodes, 490 frames, and 1 task, with a frame rate of 30fps. The dataset structure includes multiple dimensions of data such as actions, observation states, and images. Action data includes position information of left and right shoulders, elbows, wrists, and grippers; observation state data is similar to action data; image data includes video data from three perspectives: left front, right front, and right top, with a resolution of 480x640 and 3 channels. The dataset is licensed under apache-2.0.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专为双臂机器人操作任务设计。数据采集采用“bi_so_follower”类型的机器人平台，共包含5个完整演示回合（episodes），合计490帧（frames），涵盖单一任务。数据以Parquet格式存储于chunk分块文件中，视频数据则采用AV1编码的MP4格式，提供左前、右前及右上方三个视角的视觉观测信息（分辨率480×640，30 FPS）。动作与状态特征均包含12个维度的关节空间数据，覆盖左右双臂的肩部、肘部、腕部及夹爪自由度，确保了数据集的完整性与实用性。

特点

数据集结构紧凑且高效，总数据量约300 MB，其中视频数据占200 MB，采用分块（chunk）与文件（file）两级索引组织，便于随机存取与流式加载。每个时间步均记录动作（action）、观测状态（observation.state）、多视角图像及时间戳、帧索引等元信息，支持端到端模仿学习与行为克隆算法的训练需求。所有特征均以float32或int64类型存储，并提供了清晰的命名与形状描述，便于用户解析与预处理。

使用方法

数据集可通过LeRobot库的API直接加载与可视化，用户只需指定数据集路径即可访问。推荐的加载方式是利用LeRobot的`load_dataset`函数，自动处理Parquet与视频文件的对应关系。数据集默认划分为训练集（前5个回合），无需额外拆分。用户可基于`action`与`observation.state`字段构建策略模型，并利用多视角图像进行视觉编码。此外，Hugging Face Spaces提供了交互式可视化工具，可在线浏览轨迹与图像序列，辅助数据验证与分析。

背景与挑战

背景概述

在机器人操作领域，双臂协同控制是实现复杂工业与家庭任务的核心技术瓶颈。由hojinlab团队基于LeRobot框架创建的bimanual_so101_test数据集，旨在推动双臂机器人从感知到动作的端到端学习研究。该数据集发布于Apache-2.0许可下，聚焦于双臂从动机构（bi_so_follower）的操作行为，记录了5个完整演示片段、共490帧的高频（30FPS）动作序列与多视角视觉观测（左前、右前、右上三路640×480分辨率视频）。每个时间步包含12维关节动作指令（涵盖左右各6自由度），为模仿学习提供了精细化对齐的状态-动作对。该数据集填补了双臂协同精细化操作公开基准的空白，尤其为少样本学习、高精度轨迹映射等方向提供了标准化训练与测试平台。

当前挑战

该数据集所解决的领域核心挑战在于双臂机器人操作中高自由度（12维）动作空间与复杂视觉耦合的非线性映射问题，传统运动规划方法难以泛化至非结构化场景。构建过程中面临三重挑战：其一，双臂操作需同时协调左右臂瞬时位姿与夹爪控制，对数据采集的时空同步精度要求极高；其二，三视角视频流（AV1编码）与动作序列的帧级对齐需依赖精确的时间戳机制，以避免多模态数据错位；其三，样本量有限（仅5个演示片段），如何在极少演示下训练模型捕捉双臂协作的拓扑约束与动态平衡是制约该成果落地的关键瓶颈。

常用场景

经典使用场景

在机器人学习与操控领域，双机械臂协同作业一直是一个极具挑战性的研究方向。bimanual_so101_test数据集正是为这一前沿课题而设计，其经典使用场景聚焦于基于视觉与状态信息的双臂联合控制策略学习。数据集记录了5条完整的操控演示轨迹，每条轨迹均包含12维的动作与状态数据，覆盖左右臂各关节位置与夹爪状态，并同步采集了左前、右前、右顶三个视角的640×480分辨率视频流。研究者可利用这些多模态数据训练模仿学习或强化学习模型，使机器人学会执行诸如双臂协作抓取、装配等需要精细协调的复杂任务。

解决学术问题

该数据集系统性地回应了双臂机器人学习中数据稀疏与多模态融合这两大学术难题。在现有研究中，单臂操控数据集较为丰富，而双臂协同场景因任务复杂度高、数据采集困难，长期缺少标准化基准。bimanual_so101_test通过提供包含关节空间状态与多视角视觉信息的高保真数据，为探究状态-动作映射关系、探索视觉特征与运动控制的跨模态对齐提供了可靠的基础。它使研究者能够对比不同算法在有限样本下的泛化能力，推动从单臂到双臂、从简单到复杂的学术认知跃迁，对机器人自主操控理论的发展具有重要里程碑意义。

衍生相关工作

围绕bimanual_so101_test数据集，一系列具有影响力的研究工作应运而生。使用该数据集，研究者可验证模仿学习算法（如行为克隆、扩散策略）在双臂场景下的有效性，或开展基于奖励塑形的强化学习研究。此外，数据集中的结构化时序信息为时间序列预测、运动轨迹规划等课题提供了基准测试平台。一些研究工作进一步拓展了该数据集的边界，例如通过数据增强生成更多样化的操控经验，或将其与跨任务迁移学习相结合，衍生出适用于多任务双臂操控的统一学习框架。这些衍生工作不仅深化了对双臂协同行为的理解，也为人机共融的下一代智能机器人系统奠定了坚实的技术基石。