HyeonseokE/SO101-StackBlock_Ours_40epi

该数据集是一个机器人学数据集，使用LeRobot工具创建，专门用于训练和评估机器人控制模型。数据集包含40个训练集，总帧数为34552，涉及一个任务（可能为堆叠积木任务）。数据以parquet格式存储，视频文件以mp4格式存储，帧率为10fps。数据集结构丰富，包括观察状态（如6个关节位置：肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）、动作数据（与观察状态相同的6个关节位置）、图像观察（顶部和左腕摄像头的视频，分辨率为480x640，3通道RGB）、机器人末端执行器位置（6维XYZ和欧拉角）、技能信息（如自然语言描述、验证问题、类型、进度和目标位置）以及子任务信息（如自然语言描述、对象名称和目标位置）。这些数据支持机器人学习任务，如模仿学习或强化学习。This dataset is a robotics dataset created using the LeRobot tool, designed for training and evaluating robot control models. It contains 40 training episodes with a total of 34,552 frames and involves one task (likely a block stacking task). The data is stored in parquet format, and video files are in mp4 format with a frame rate of 10fps. The dataset has a rich structure, including observation states (e.g., 6 joint positions: shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), action data (same 6 joint positions as observations), image observations (videos from top and left wrist cameras with 480x640 resolution and 3 RGB channels), robot end-effector positions (6-dimensional XYZ and Euler angles), skill information (e.g., natural language descriptions, verification questions, types, progress, and goal positions), and subtask information (e.g., natural language descriptions, object names, and target positions). This data supports robotics learning tasks such as imitation learning or reinforcement learning.

搜集汇总

数据集介绍

构建方式

SO101-StackBlock_Ours_40epi数据集基于LeRobot框架构建，旨在为机器人操作任务提供高质量的模仿学习数据。数据采集使用SO101跟踪机器人执行堆叠方块任务，共收录40个示范轨迹，总计34552帧图像与状态信息。整个数据集以1000帧为单元进行分块存储，数据文件采用Parquet格式，视频文件则以H.264编码的MP4格式保存，兼顾了存储效率与检索便捷性。所有样本均按时间戳与帧索引严格排序，确保序列完整性。

特点

该数据集的核心优势在于其丰富且结构化的多模态特征体系。观测数据涵盖6维关节状态（肩部、肘部、腕部、夹爪位置）、6维末端执行器位姿（x、y、z、翻滚、俯仰、偏航）以及两个视角（顶部与左手腕）的640×480 RGB视频流。动作空间与观测状态对齐，便于模型直接学习策略。尤为独特的是，数据还包含技能级与子任务级的自然语言描述、验证问题、进度标量以及目标位置的联合空间和笛卡尔空间表示，为层次化模仿学习与任务分解研究提供了精细的标注资源。

使用方法

该数据集可通过LeRobot库便捷加载与可视化。用户利用HuggingFace提供的在线可视化空间可快速预览数据内容。在本地开发环境中，推荐使用LeRobot的dataset API直接读取Parquet与视频文件，按chunk索引迭代获取观测-动作对。数据集默认将全部40个episode划分为训练集（索引0至39），无需手动拆分。研究者可结合特征字典中的'observation.state'、'observation.images.top'等键访问多模态输入，配合'action'字段训练行为克隆或扩散策略模型。

背景与挑战

背景概述

SO101-StackBlock_Ours_40epi数据集由HyeonseokE等人于近期构建，依托LeRobot开源框架，旨在为机器人堆叠方块任务提供标准化的演示数据。该数据集聚焦于单任务（堆叠方块）的模仿学习，记录了so101_follower机器人在40个回合中的34552帧动作序列，包含关节状态、图像观测（顶部和左腕视角）及技能标签等丰富模态。通过精细化的多模态特征定义（如6维关节位置、末端执行器位姿及自然语言指令），该数据集为研究机器人灵巧操作中的感知-动作耦合提供了高质量基准，推动了具身智能领域从仿真环境向真实场景的迁移。其开源的Apache-2.0许可协议进一步降低了学术与工业界的复现门槛，助力机器人学习社区的协作创新。

当前挑战

当前数据集面临的主要挑战包括：首先，在领域问题层面，堆叠方块任务要求机器人在非结构化环境中实现精准的位姿估计与力控协调，而单任务、小规模（40回合）的数据限制了模型对复杂操作变体的泛化能力，易导致过拟合于特定初始条件与物体属性；其次，在构建过程中，数据采集依赖遥操作演示，人类操作者技能差异导致轨迹分布不均，且6维动作空间与480×640图像分辨率间的多模态对齐误差（如时间戳异步、视角遮挡）增加了数据清洗的复杂度；此外，缺失公开的基线模型性能评估（如任务成功率、鲁棒性分析），使得该数据集尚需更广泛的外部验证以确立其在机器人堆叠任务中的基准地位。

常用场景

经典使用场景

SO101-StackBlock_Ours_40epi数据集专为机器人灵巧操作任务而设计，其核心场景聚焦于基于视觉与状态反馈的堆叠方块技能学习。借助LeRobot框架，该数据集录制了SO101型机械臂在40个完整回合中的精细化操作轨迹，每个回合均包含高分辨率顶部与左手腕摄像头图像、六维关节状态及末端执行器位姿。经典应用于训练模仿学习模型，使机器人从专家演示中习得精准的抓取、搬运与堆叠策略。

衍生相关工作

围绕该数据集已催生若干具有重要影响力的研究工作：例如基于扩散策略的条件运动生成方法，利用其多模态观测数据实现稳定且多样化的堆叠技能合成；另如结合逆强化学习的偏好对齐技术，依托其细粒度的子任务标注进行奖励函数逆推断，进而优化策略的因果解释性。这些衍生工作共同印证了该数据集作为机器人学习领域核心验证平台的关键价值。

数据集最近研究

最新研究方向

在机器人操作领域，精细化的堆叠任务是衡量机械臂灵巧操控能力与视觉-运动协同的经典基准。SO101-StackBlock_Ours_40epi数据集聚焦于单任务（堆叠方块），通过40个演示回合、超过3.4万帧的密集采样，融合了6自由度关节状态、末端执行器位姿、二指夹爪状态以及多视角（顶部与左腕）高清视频流，为模仿学习与具身智能研究提供了高保真的专家示范。该数据的结构设计呼应了当前机器人前沿的热点——即利用大规模、多模态的遥控操作数据驱动策略泛化，特别是在LeRobot框架的标准化支持下，便于与扩散策略、动作分块变换器等最新算法对接。目前，该领域正经历从单一技能复现向复杂任务泛化的跃迁，此类精细标注的演示数据集在缩小模拟到现实（Sim-to-Real）鸿沟、加速机器人学习在工业装配与家庭服务中的落地进程中扮演着关键角色。