yoko2606/movethegreenbrick_20260525_203129

这是一个使用LeRobot创建的机器人控制数据集，专门用于机器人学习任务。数据集包含50个训练episodes，总计22447帧，数据来自so_follower机器人类型。它提供了丰富的多模态信息：动作数据包括6个关节位置（如肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部滚动和夹爪位置），观测数据包括相同的关节状态和顶部摄像头图像（分辨率为480x640，30帧每秒，RGB通道）。数据集以parquet和视频格式存储，支持机器人控制算法的训练和评估，适用于强化学习或模仿学习场景。This dataset is a robotics control dataset created using LeRobot, designed for robot learning tasks. It contains 50 training episodes with a total of 22447 frames, sourced from a so_follower robot type. The dataset offers rich multimodal information: action data includes 6 joint positions (e.g., shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), while observation data includes the same joint states and top camera images (with a resolution of 480x640, 30 fps, RGB channels). Stored in parquet and video formats, it supports training and evaluation of robot control algorithms, suitable for reinforcement learning or imitation learning scenarios.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，聚焦于机械臂操控绿色积木的任务场景，通过SO-follower机器人平台完成50个回合的遥操作数据采集。采集过程中，操作者以30帧每秒的频率同步记录六自由度关节位置的动作指令与状态观测，涵盖肩部旋转、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转及夹爪开合等维度，每帧均配以顶部视角的AV1编码视频（480×640分辨率），最终以Parquet列式存储格式分块组织，形成22447帧的完整时序数据集。元数据以info.json统一描述特征结构与文件路径，确保数据可复现且易于加载。

特点

数据集呈现多模态融合特征，将视觉观测与关节状态、动作指令在时间维度上精确对齐，为机器人模仿学习提供细粒度监督信号。所有回合共享单一任务指令，任务一致性极高，适宜评估策略在固定目标下的泛化能力。存储结构兼顾数据体积与读取效率，视频文件与状态数据分目录存放，并通过chunk机制降低大规模数据访问的复杂度。此外，数据集遵循Apache-2.0许可，代码库版本与文件路径规范明确，为后续研究提供透明、可扩展的基础资源。

使用方法

研究者可通过LeRobot内置的数据加载接口或HuggingFace Datasets库直接读取Parquet文件与视频流，依照data_path与video_path模板定位具体片段。训练时可将observation.images.top作为视觉输入，observation.state与action作为状态与动作标签，借助episode_index与frame_index进行回合切分与时序建模。利用官方提供的可视化工具可在线预览数据，便于检查任务执行质量与对齐情况。数据集默认划分为50个训练回合，适用于行为克隆、视觉运动策略学习等任务，亦可按需扩展至更复杂的多任务场景。

背景与挑战

背景概述

在机器人学习领域，高质量的操作演示数据是训练鲁棒策略的基础。movethegreenbrick_20260525_203129数据集由LeRobot框架生成，记录了SO-100跟随者机械臂执行移动绿色积木任务的50段示范轨迹，总计22447帧、30Hz同步视频与六维关节位置。该数据集于2026年发布，旨在为视觉-动作映射与精细抓取操作提供标准化基准，其单任务、多episode结构有助于评估模仿学习算法在真实机器人上的泛化性能，并推动开源机器人数据生态的发展。

当前挑战

所解决的核心领域问题在于，机器人需在视觉引导下将绿色积木精准移动至目标位置，面临光照变化、物体遮挡、关节柔性及抓取稳定性等复杂因素。构建过程中，数据采集需同步高帧率视频与六维关节状态，确保时间戳对齐；同时，单一任务需覆盖多样化初始位姿以提升策略鲁棒性，这对示范的多样性与质量提出了较高要求。此外，视频编码与存储格式的标准化亦构成技术挑战。

常用场景

经典使用场景

在机器人学习与具身智能研究领域，该数据集最典型的使用场景为基于视觉的模仿学习与端到端策略训练。数据集以30Hz的采样频率记录了50个演示回合，每个回合包含顶部摄像头采集的480×640分辨率视频帧以及六自由度机械臂（so_follower）的关节位置与夹爪状态，并同步标注了相应的动作指令。研究者通常将视觉观测与机器人本体感知信息作为输入，利用行为克隆或扩散策略等方法训练模型，使其学会将绿色积木从初始位置移动至目标区域，从而在真实或仿真环境中复现该操作技能。

解决学术问题

该数据集为机器人操作领域若干常见学术问题提供了实证基础。其核心价值在于以真实世界演示数据支撑视觉-动作映射的学习，缓解了仿真到现实迁移中的域间隙问题，并为少样本条件下的技能泛化研究提供了可复现的基准。通过提供多回合、时序对齐的多模态数据，它使得研究者能够系统探究视觉表征学习、动作序列建模以及长时程任务规划等议题，进而推动模仿学习算法在标准化任务上的公平比较与迭代优化。

衍生相关工作

围绕该数据集，已衍生出若干与LeRobot生态紧密相关的工作。基于其标准化格式，研究者相继开展了行为克隆基线评测、视觉编码器预训练以及扩散策略在机械臂操作中的适配研究。部分工作进一步利用该数据探索多任务联合训练、语言条件策略学习以及仿真环境中的策略迁移验证。这些衍生研究共同丰富了开源机器人学习社区的资源体系，并为后续数据集扩展与算法创新提供了参照。