cortx-labs/bimanual-fruit-sorting

该数据集是一个机器人技术相关的数据集，专注于双手机器人（bi_so_follower）的操作数据。数据集包含50个episodes，共计229492帧数据，数据以parquet格式存储，并包含视频文件。数据集详细记录了机器人的动作、观察状态、多个视角的图像观察（视频数据）以及其他索引信息。数据集由LeRobot项目创建，适用于机器人控制和机器学习研究。

This dataset is related to robotics technology, specifically focusing on operational data of a bimanual robot (bi_so_follower). The dataset includes 50 episodes, totaling 229492 frames, stored in parquet format and includes video files. The dataset details the robots actions, observation states, image observations (video data from multiple perspectives), and other index information. It was created by the LeRobot project and is suitable for robotics control and machine learning research.

搜集汇总

数据集介绍

构建方式

该数据集依托于LeRobot框架构建，专注于双机械臂在水果分拣场景中的协同操作。数据采集自一台名为“bi_so_follower”的双臂机器人，通过遥操作或自主演示方式录制了50个完整回合（episode），共计229,492帧时序数据。每个回合以30帧/秒的采样率记录，并按照1,000帧为一个分块存储为Parquet格式文件，同时将多视角视频（左上方、左腕部、右腕部）编码为AV1格式的MP4文件，确保数据压缩与高质量并存。数据集仅包含单一任务标签，无需额外分割即可直接用于训练。

特点

该数据集的核心特点在于其双机械臂的12维动作空间与状态空间的精确对应，包含左右臂各6个关节（肩部、肘部、腕部及夹爪）的位置信息。多视角视觉观测系统提供了三个640×480分辨率的RGB视频流，覆盖全局与局部视角，为模仿学习提供丰富的场景感知能力。数据以分块形式组织，总容量约300MB（含100MB的Parquet表格数据与200MB的视频数据），结构紧凑且支持高效加载。此外，数据集遵循Apache-2.0开源协议，便于学术研究与工业应用。

使用方法

数据集可通过HuggingFace的LeRobot库直接加载与可视化，用户只需指定数据集路径“cortx-labs/bimanual-fruit-sorting”即可。在Python环境中，使用`from lerobot import dataset`模块调用相关API，即可按回合（episode）或帧（frame）索引访问动作、状态与图像数据。预置的训练集为全部50个回合，无需额外划分。视频数据以时间压缩格式存储，而表格数据中的时序特征可直接用于构建模仿学习或强化学习模型。推荐利用LeRobot的集成可视化界面（如Space应用）快速浏览数据质量与机器人运动轨迹。

背景与挑战

背景概述

在机器人操作领域，双臂协作系统因其在复杂任务中的灵活性与鲁棒性而备受关注，然而高质量的双臂操作数据集却长期匮乏，这限制了模仿学习与强化学习算法的深入发展。由cortx-labs机构创建的bimanual-fruit-sorting数据集，基于LeRobot框架构建并于近期发布，专门针对水果分拣这一典型的双臂协作任务。该数据集包含50个演示片段，总计超过22万帧高分辨率视频，记录了双臂机器人在30帧每秒的速率下执行分拣操作的全过程，通过多视角摄像系统（左上方、左腕和右腕）捕捉丰富的视觉信息，并同步记录双机械臂各关节的精确位姿与夹爪状态。这一数据集为研究双臂协同控制、视觉-运动策略学习提供了标准化的测试基准，对推动机器人从单纯单手操作向复杂双臂交互过渡具有重要的学术价值与应用前景。

当前挑战

该数据集所解决的领域核心挑战在于双臂协调操作的算法建模问题，不同于单臂任务，双臂系统需要同时管理两侧机械臂的协同运动与冲突避免，这在分拣场景中尤为显著，如何从高维的视觉输入与关节状态中学习有效的双向耦合策略是亟待突破的难点。在构建过程中，数据采集面临多传感器精确同步的工程挑战，三个摄像头与双臂编码器需在毫秒级精度内对齐时间戳，以生成可靠的训练样本；此外，仅覆盖单一任务和有限场景的设计虽确保了数据一致性，却也制约了模型的泛化能力，未来需扩展至更多样化的果蔬类型、摆放布局及光照条件，以加强数据集对复杂现实环境的适应性。

常用场景

经典使用场景

在机器人学习与灵巧操作领域，bimanual-fruit-sorting数据集为双机械臂协同作业的研究提供了珍贵的训练与评估基准。该数据集包含50个完整轨迹、近23万帧高保真观测数据，涵盖了左右臂各6自由度的关节状态以及来自三视角的视觉图像（左侧顶视、左腕与右腕）。研究者可利用这些数据训练基于模仿学习或强化学习的双机械臂策略，使其学会自主完成水果分拣这一典型精细操作任务，尤其适合探索双臂协调、抓取与放置等基础动作的端到端控制范式。

解决学术问题

该数据集有效解决了双机器人系统在动态环境中协作操作的若干关键学术难题。它提供了多模态对齐的观测与动作序列，使得研究者能够系统性地探索双臂协同中的运动规划、避碰与力位混合控制问题。通过高分辨率视觉输入与精密的关节状态编码，该数据促进了从人类演示到机器人自主执行的行为克隆（Behavior Cloning）研究，尤其是在面对非结构化目标（如形态各异的水果）时的泛化能力分析。其发布对理解双肢耦合动力学、减少示教数据需求以及提升复杂操作任务的样本效率产生了深远影响。

衍生相关工作

依托bimanual-fruit-sorting数据集，学术界涌现了一系列具有启发性的衍生工作。在算法层面，研究者基于其标准化的状态-动作空间，提出了针对双机械臂的统一策略网络架构，如结合Transformer的时序动作生成模型，以及融合对称性先验的强化学习奖励函数设计。在系统层面，该数据被广泛应用于对比不同模仿学习范式（如扩散策略、隐式行为克隆）在双臂任务中的表现。此外，该数据集与LeRobot框架的深度集成，催生了一批开源基准测试，推动了机器人学习领域可复现研究生态的构建，并成为后续大规模双臂操作数据集构建的参照模板。