atharva-pantheon/yam-stack-cube

该数据集是一个机器人学数据集，使用LeRobot创建，专门针对双手机器人（bimanual_yam）。它包含44个episodes，总计48245帧数据，数据以parquet文件格式存储，并附带视频文件（总大小约200MB）。数据集特征包括：观察状态（14维浮点数组，对应左右机械臂的6个关节和1个夹爪位置）、动作（相同结构）、来自三个摄像头（顶部、左侧、右侧）的图像观察（视频格式，分辨率480x640，10fps，RGB通道），以及时间戳、帧索引、episode索引等元数据。数据集主要用于机器人控制任务，支持训练和验证，所有数据划分为训练集。This dataset is a robotics dataset created using LeRobot, specifically for a bimanual robot (bimanual_yam). It contains 44 episodes with a total of 48,245 frames, stored in parquet format and accompanied by video files (total size approximately 200MB). The dataset features include: observation state (14-dimensional float array corresponding to the 6 joints and 1 gripper position for both left and right arms), action (similar structure), image observations from three cameras (top, left, right) in video format (resolution 480x640, 10fps, RGB channels), and metadata such as timestamp, frame index, episode index. The dataset is designed for robot control tasks, supporting training and validation, with all data split into the training set.

搜集汇总

数据集介绍

构建方式

yam-stack-cube数据集由LeRobot框架构建而成，聚焦于双臂机器人操控领域。该数据集包含44个采集片段，总计48245帧数据，帧率为10帧每秒，全部服务于单一任务。数据以parquet格式存储，每1000帧划分为一个数据块，同时附有体积约200MB的同步视频文件。通过meta/info.json文件中的特征定义，数据集记录了机器人左右各七个关节的观测状态与动作指令，涵盖6个旋转关节与1个夹爪的连续控制信息。

使用方法

该数据集适用于基于LeRobot框架的机器人学习任务，用户可通过Hugging Face平台直接访问并可视化数据。使用过程中，需依据parquet文件中的特征键值调用观测状态（observation.state）、动作指令（action）及多视角图像（observation.images）字段。训练时可按索引切片加载44个采集片段，利用预定义的14维向量作为模型输入与输出。视频数据以分离的mp4文件存储，便于与状态序列联合训练视觉-运动策略模型。

背景与挑战

背景概述

该数据集由Hugging Face社区的研究者利用LeRobot框架创建，专注于双机械臂操作领域的精细操控任务。核心研究问题在于如何通过模仿学习实现机器人对小型物体（如积木）的灵活堆叠与抓取操作。数据集记录了44个完整演示片段，包含近5万帧状态与动作数据，并配备了顶部、左、右三个视角的高清视频流。其构建标志着机器人学习领域从单一机械臂向多臂协同场景的重要延伸，为后续研究提供了标准化的基准测试平台，推动了模仿学习在复杂工业装配与日常服务场景中的落地应用。

当前挑战

该数据集所解决的领域问题在于双机械臂协同操作中的高精度控制与柔性抓取难题，传统规划算法难以应对非结构化环境下的实时应变需求。构建过程中面临显著挑战：首先，14维联合状态与动作空间的高频采样对传感器同步和标定精度提出严苛要求；其次，三个摄像头视角的宽基线配置导致视角遮挡与多视图融合困难；此外，仅涵盖单任务、44段演示的小规模数据难以覆盖任务泛化所需的分布多样性，限制了模型在类人操作灵活性上的突破。

常用场景

经典使用场景

该数据集聚焦于双臂机器人协同操作中的堆叠任务，具体场景为使用YAM双臂机器人将立方体从一个位置抓取并堆叠至另一目标点。数据采集涵盖44个完整轨迹，共计48245帧，包含14维关节状态信息（左右臂各6个关节及夹爪）以及顶视、左视、右视三路640×480高清视频流。这一精心设计的设置使其成为研究双臂协调控制、精准抓取与堆叠策略的理想基准，尤其适用于模仿学习与强化学习范式下的机器人操作技能习得。

解决学术问题

该数据集系统性地解决了双臂机器人操作领域中长期存在的精细空间规划与同步控制难题。学术研究中常面临双臂器械运动学冗余、作业空间碰撞规避及实时力矩分配等挑战，而本数据集通过提供高保真的关节级动作序列与多视角视觉观测，为端到端策略学习提供了规范化的训练素材。其意义在于推动了从简单单臂抓取向复杂双臂协调操控的范式跃迁，为探索瞬时接触动力学建模与具身智能体推理能力的耦合奠定了数据基石。

实际应用

在实际应用领域，该数据集所蕴含的双臂堆叠技术可无缝迁移至物流仓储中的自动分拣与码垛作业，通过模仿人类双手协同的灵巧操作提升装卸效率。在精密装配生产线上，基于此数据集训练的模型能实现零件对准、压合及自适应纠偏，显著降低机械磨损与良品次品率。此外，家庭服务机器人可借此习得叠放餐具、整理物架等日常任务，从而在非结构化环境中展现更接近人类的物理交互能力。

数据集最近研究

最新研究方向

在机器人学习领域，双机械臂协作与灵巧操作正成为前沿探索的核心命题。yam-stack-cube数据集顺应这一浪潮，聚焦于积木堆叠这一精细操作任务，为模仿学习与强化学习研究提供了高保真的多模态训练资源。其通过14维关节状态与动作空间，搭配三视角高清视觉流（顶视、左视、右视），精准刻画了双机械臂协同作业的物理交互细节。该数据集内置的44个示范轨迹及近五万帧时序数据，为开发泛化性强的操纵策略奠定了坚实基础，尤其推动了从仿真到真实世界的零样本迁移研究，对于工业自动化与家庭服务机器人的应用突破具有深远意义。