BeingBeyond/Being-H-EDU_SO101

该数据集是用于机器人模仿学习的LeRobot格式SO101数据集，专门针对pick_cube_plate操作任务。任务指令为：将立方体捡起放入盘子中。 在每个情节中，SO101跟随臂观察桌面场景并执行拾取放置行为：抓取立方体，将其移动到盘子上方，然后放入盘子内。数据集可用于Being-H-EDU教程工作空间，对基于Being-H0.5的策略进行后训练，但不仅限于此，它也是标准的LeRobot风格机器人数据集，可被支持相同模式的其他模仿学习或机器人策略训练管道加载。数据集包括多个变体：原始合并数据集（210个情节）、质量过滤后数据集（189个情节）、修剪后推荐训练集（189个情节）以及LeRobot v3.0布局版本。数据模式包括机器人状态、动作、手腕和外部摄像头视频等核心特征。This is the LeRobot-formatted SO101 dataset for robotic imitation learning, specifically tailored for the pick_cube_plate manipulation task. The task instruction is: "Pick up the cube and place it into the plate." In each episode, the SO101 robotic arm observes the tabletop scene and executes pick-and-place behaviors: grasp the cube, move it above the plate, then place it inside the plate. This dataset can be applied to the Being-H-EDU tutorial workspace for post-training of policies based on Being-H0.5, and it is not limited to this use case. As a standard LeRobot-style robotic dataset, it can also be loaded by other imitation learning or robotic policy training pipelines that support the same data schema. The dataset includes multiple variants: the original merged dataset (210 episodes), the quality-filtered dataset (189 episodes), the pruned recommended training set (189 episodes), and the LeRobot v3.0 layout version. The data modalities cover core features such as robot states, actions, wrist and external camera videos.

搜集汇总

数据集介绍

构建方式

Being-H-EDU_SO101数据集专为机器人抓取与放置任务设计，指令为“将立方体抓取至盘中”。数据集基于LeRobot格式，记录SO101从动臂在桌面场景中的操作轨迹，涵盖抓取、移动与释放立方体的完整行为。原始采集合并得到210个episode，随后经质量筛选剔除21个短或不完整的episode，生成189个有效episode的过滤版本。在此基础上，进一步裁剪静态或无关帧，形成推荐用于训练的修剪版本。此外，还提供v3.0布局版本以适配更新的LeRobot工具链。

特点

该数据集的核心特点在于多层次版本设计，满足不同训练需求。所有版本均包含6维机器人关节状态与动作、腕部与外部摄像头RGB图像（30 FPS）以及语言任务索引。修剪版本在保留相同有效episode数量的前提下显著减少帧数，使训练聚焦于操作行为而非冗余静帧。数据采集频率为30 FPS，机器人类型标识为so_follower，确保与Being-H-EDU教程工作区及其他模仿学习管线兼容。

使用方法

使用该数据集时，推荐从修剪版本pick_cube_plate_trimmed开始。需通过dataset_path_overrides注册本地数据集路径，并在训练前执行动作转换脚本，将前五维动作转换为相对于观察状态的增量形式，而夹爪动作保持绝对值。具体训练工作流可参考Being-H-EDU教程中的so101_data_processing.md与so101_quickstart.md文档，支持与Being-H0.5策略的后训练及多种模仿学习管线集成。

背景与挑战

背景概述

在机器人学习领域，模仿学习作为一种从人类示教中获取技能的有效范式，近年备受瞩目。Being-H-EDU SO101 Pick Cube Plate数据集由Being-H-EDU研究团队创建，旨在为机器人抓取与放置任务提供标准化训练数据。该数据集专注于'将立方体拾取至盘子中'这一基础操作任务，包含210个示教回合，涵盖原始、过滤及修剪等多种变体，以适应不同训练需求。其核心研究问题在于如何通过高质量的示教数据，使轻量级机器人策略（如Being-H0.5）有效学习精细操作能力。该数据集的发布为开源机器人社区提供了标准化基准，推动了一致性模仿学习算法的发展与研究。

当前挑战

该数据集面临的主要挑战包括：第一，任务层面的挑战——拾取与放置操作要求机器人具备精准的抓取、运动规划和释放协调能力，尤其在桌面场景中易受物体位置、光照等环境因素影响，导致策略泛化困难。第二，构建过程中的挑战——原始数据中混有质量低下的回合和冗长无信息帧段，需设计有效的过滤与修剪算法，在保留行为信息的同时降低数据冗余，这涉及对操作起始与终止时刻的精确判定；此外，不同版本的存储格式（v2.1与v3.0）兼容性也增加了数据复用的复杂度，需用户自行适配预处理步骤，如动作格式转换等。

常用场景

经典使用场景

在机器人模仿学习与操作技能获取的研究范式下，Being-H-EDU SO101数据集为经典的“抓取并放置”任务提供了标准化的训练与评估基准。该数据集包含SO101机械臂在桌面场景中执行抓取立方体并放置于盘子内的完整轨迹，记录了210个原始片段及经过质量过滤、时间裁剪后的多个变体版本，广泛适用于模仿学习策略的离线训练、策略泛化能力评测以及机器人操作行为的闭环控制研究。

解决学术问题

该数据集聚焦于解决机器人操作学习中数据质量参差不齐与任务语义泛化的关键难题。通过提供原始、过滤与裁剪多种版本，研究者能够系统探究数据长度、轨迹完整性对策略学习的影响，从而揭示低质量数据对策略鲁棒性的损害机制。同时，其基于语言指令的任务标注方式（文字为“Pick the cube into the plate”），支持自然语言引导的泛化控制研究，推动从单一固定任务向多语义操纵策略的演进。

衍生相关工作

基于该数据集，衍生出多项关键工作成果。首先是数据过滤与裁剪策略的系统性验证，为机器人操作数据集构建提供了筛选准则；其次是行动差分转换方法的提出，将动作空间从绝对坐标映射为相对于观测状态的偏移量，提升了策略在不同初始位姿下的泛化性能。此外，该数据集以LeRobot标准格式发布，具备跨平台兼容性，推动了模仿学习管线在SO101、Follower Arm等多种构型间的高效迁移与复现研究。