HyeonseokE/SO101-StackBlock_Ours_20epi

该数据集是使用LeRobot工具创建的机器人操作数据集，专门用于堆叠方块（StackBlock）任务。数据集包含20个episodes，总计17317帧，数据采集自SO101跟随者型机器人，帧率为10fps。数据集结构丰富，包括机器人关节状态观测（6个浮点数，对应肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）、动作（相同6个浮点数）、顶部和左腕摄像头的视频观测（分辨率480x640，RGB三通道）、末端执行器的位置和姿态（XYZ坐标和RPY欧拉角）、夹爪二进制状态、技能的自然语言描述、验证问题、技能类型和进度、技能目标位置（关节空间和机器人坐标系）、子任务的自然语言描述、对象名称、目标位置（XYZ坐标），以及时间戳、帧索引、episode索引、索引和任务索引等元数据。数据集以Apache 2.0许可证发布，主要用于机器人学习和模仿学习研究。This dataset is a robotics manipulation dataset created using the LeRobot tool, specifically for the StackBlock task. It contains 20 episodes with a total of 17,317 frames, collected from an SO101 follower robot at 10 fps. The dataset has a rich structure, including observations of robot joint states (6 floats for shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), actions (same 6 floats), video observations from top and left wrist cameras (resolution 480x640, RGB three channels), end-effector position and orientation (XYZ coordinates and RPY Euler angles), gripper binary state, natural language descriptions of skills, verification questions, skill types and progress, skill goal positions (in joint space and robot coordinates), natural language descriptions of subtasks, object names, target positions (XYZ coordinates), as well as metadata such as timestamps, frame indices, episode indices, indices, and task indices. The dataset is released under the Apache 2.0 license and is primarily intended for robotics learning and imitation learning research.

搜集汇总

数据集介绍

构建方式

SO101-StackBlock_Ours_20epi数据集是基于LeRobot框架构建的机器人操作数据集，专为堆叠方块任务设计。该数据集通过SO101型跟随机器人（so101_follower）采集了20个完整演示回合，共计17317帧时序数据，帧率为10帧每秒。数据以parquet格式存储状态与动作序列，并辅以高清视频记录（分辨率为480×640，采用H.264编码），确保视觉与运动信息的同步对齐。数据集将全部20个回合统一划分为训练集，未设验证或测试分割，旨在为端到端模仿学习提供密集的示范样本。

特点

数据集的显著特点在于其多模态与结构化标注的深度融合。观测数据包含来自顶部和左手腕的双视角视频，以及6维关节状态（肩部、肘部、腕部、夹爪位置）和6维末端执行器位姿。动作空间同样为6维，与状态空间同构，便于策略学习中的直接映射。尤为突出的是，数据集引入了精细的技能与子任务层级标注，涵盖自然语言描述、验证问题、技能类型及进度指标，并明确了各子步骤的目标关节位置、位姿和夹爪状态。这种丰富的语义标签使得数据不仅适用于模仿学习，还能支持行为解析与复合任务分解。

使用方法

使用该数据集时，可借助LeRobot库进行高效加载与预处理。通过配置config_name为'default'并指定data_files路径，系统将自动读取parquet格式的分块文件。用户需关注'observation.state'和'action'字段作为模型输入输出，同时利用双视角视频流（'observation.images.top'和'observation.images.left_wrist'）增强视觉表征。对于高级应用，可解析skill与subtask字段以提取任务指令或验证目标。数据集采用Apache-2.0许可，推荐在机器人模仿学习、多模态融合策略训练以及技能分解研究场景中展开实践。

背景与挑战

背景概述

SO101-StackBlock_Ours_20epi数据集由研究人员HyeonseokE等人于近期创建，基于LeRobot框架构建，旨在为机器人操作领域提供精细化的任务数据集。该数据集聚焦于堆叠方块这一基础且关键的机器人操作技能，通过SO101跟随机器人采集了20个回合的高质量示范数据，涵盖关节状态、图像观测及任务语义信息。其研究核心在于弥合仿真环境中学习到的策略与真实物理世界执行之间的鸿沟，为模仿学习与技能泛化研究提供了标准化的测试床。作为开源数据集，它推动了机器人学习社区在精细操作任务上从演示到策略迁移的进程，尤其对少样本学习与动态环境适应性研究产生了积极影响。

当前挑战

该数据集所面对的领域挑战主要源于堆叠方块操作的高精度要求与真实物理世界的非结构化特性，包括物体姿态多样性、接触动力学不确定性以及不同构型机器人间的策略迁移困难。在构建过程中，数据集面临数据采集效率与示范质量不一致的问题，仅20个回合的示范规模使得学习算法需应对样本量稀疏性带来的过拟合风险，同时需要精确同步6自由度关节数据、双目视觉流与任务子目标标签，确保多模态信息的时空对齐精度，这对数据管道设计提出了严峻考验。

常用场景

经典使用场景

在机器人操作与模仿学习领域，SO101-StackBlock_Ours_20epi数据集为研究者提供了一个精细化的堆叠积木任务基准。该数据集收录了20个演示片段，总计超过17000帧，涵盖了六自由度机械臂配合夹爪执行物块堆叠的全过程。通过高保真相机采集的俯视图与左腕视角视频，以及完整的机器人状态与动作序列，它特别适合用于训练视觉-运动策略（如行为克隆与扩散策略），成为验证模仿学习算法在精密操作任务中泛化能力的经典数据资源。

实际应用

在实际应用中，该数据集可直接赋能工业与服务业场景下的机器人精准操作能力。例如，在仓储自动化中，机械臂可基于此数据集学习对异形物料的拾取与定位堆积；在家庭服务领域，机器人可通过模仿学习掌握叠放餐具或整理玩具的灵巧操作。数据集中的视觉与状态对齐信息，还适用于开发能够适应光照与物体位置变化的鲁棒性控制系统，降低传统编程方法对场景模型的依赖。

衍生相关工作

基于此数据集，一系列经典工作应运而生，如融合自然语言指令的视觉-运动策略训练框架，该框架将子目标文本作为条件输入，实现任务可迁移的堆叠操作。另有研究使用技能进度（skill.progress）作为时序指导，提出了分阶段的奖励塑形方法用于强化学习。而验证问题（verification_question）的设计，推动了机器人动作生成后自主检查机制的发展，为后续的可解释机器人行为研究奠定了数据基础。