遇见数据集

yoko2606/movegreenbrick2_20260528_003636

收藏
Hugging Face2026-05-27 更新2026-05-31 收录
官方服务:

资源简介:

该数据集由LeRobot创建,专注于机器人技术任务。数据集包含50个episodes,总计16453帧,帧率为22fps。特征包括动作和观察状态,均涉及6个关节位置(肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置)。观察部分包含顶部摄像头图像,分辨率为480x640x3,以视频格式存储。数据以parquet文件(总大小100MB)和mp4视频文件(总大小200MB)组织,支持训练分割。机器人类型为so_follower,数据集结构包括时间戳、帧索引、episode索引等元数据。

This dataset was created using LeRobot and focuses on robotics tasks. It contains 50 episodes with a total of 16453 frames at 22 fps. Features include action and observation states, both involving 6 joint positions (shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper). Observations include top camera images with a resolution of 480x640x3, stored in video format. Data is organized in parquet files (total size 100MB) and mp4 video files (total size 200MB), supporting a training split. The robot type is so_follower, and the dataset structure includes metadata such as timestamp, frame index, and episode index.

提供机构:
yoko2606
搜集汇总
数据集介绍
yoko2606/movegreenbrick2_20260528_003636 数据集图片
构建方式
该数据集基于LeRobot框架构建,聚焦于机器人操作任务——移动绿色砖块(move green brick)。数据采集自so_follower型机器人,以22帧/秒的频率记录动作与状态信息。数据集包含50个完整轨迹片段(episodes),总计16453帧,帧索引、时间戳、任务索引及回合索引等结构化字段完整,便于时序建模。数据以Parquet格式存储并组织为多个块(chunk),视频部分则采用AV1编码的MP4文件,空间分辨率为480×640像素,确保了视觉信息与动作序列的高保真同步。
特点
该数据集融合了高维视觉与低维控制信号,其动作与观测状态均为六维向量,涵盖肩关节、肘关节、腕关节及夹爪等关键自由度。视觉观测来自顶部摄像头,提供3通道RGB图像,支持端到端模仿学习或强化学习的多模态输入。数据按50个回合均匀划分为训练集,无测试集划分,便于直接进行行为克隆等离线学习。任务单一但数据量达300MB(含视频),凸显了精细操作的重复性与一致性,特别适合研究机器人精细操控中的泛化与迁移能力。
使用方法
使用方式极为便捷,用户可通过LeRobot库加载数据集,并利用其提供的可视化界面在HuggingFace Spaces上即时预览数据。典型的加载代码为`from lerobot import Dataset; dataset = Dataset.from_hub('yoko2606/movegreenbrick2_20260528_003636')`。数据以标准化的特征字典格式返回,用户可直接索引`action`、`observation.state`和`observation.images.top`键来获取动作、关节状态及图像序列。推荐结合PyTorch DataLoader进行批处理训练,支持通过`dataset.get_episode()`遍历各回合,或使用`dataset.create_sampler()`生成随机采样,灵活适配PPO、BC等算法框架。
背景与挑战
背景概述
在机器人学习领域,模仿学习作为一种高效的行为克隆范式,其性能高度依赖于高质量、高一致性的人-机协同演示数据。movegreenbrick2_20260528_003636数据集由名为yoko2606的研究人员创建,并于2026年5月28日发布,旨在为机械臂的精细操控任务提供标准化训练资源。该数据集依托HuggingFace LeRobot框架构建,聚焦于将绿色砖块从初始位置移动到目标位置的单一操控任务(move green brick)。通过记录50个完整演示回合、总计16,453帧的高频序列(22 FPS),数据集捕捉了六自由度机械臂(so_follower型号)在肩部、肘部、腕部等多个关节的连续运动轨迹,以及顶部视角的640×480 RGB视频流。该数据集的发布填补了受限机器人平台上精确移动任务的标准化数据空白,为后续于同一任务上开展算法比较、模型泛化与策略迁移提供了可复现的基准训练集,推动了面向具体物体操纵的示教学习研究。
当前挑战
该数据集所解决的领域挑战在于:机器人模仿学习中,单一物体(绿色砖块)的精细移动任务往往面临演示质量不一、动作歧义性与环境敏感性等难题。具体而言,如何从有限次示教中提取鲁棒的关节运动策略,并使其在光照变化或物体轻微偏移下依然保持稳定,是本数据集希望攻克的核心问题。在构建过程中,主要挑战体现在:其一,数据采集需保证50个演示回合之间运动风格的高度一致性,这对遥操作系统的精度与操作员的熟练度提出了严苛要求;其二,异构数据的对齐与融合(6维关节动作与2D视觉帧)需要在22 FPS的高采样率下实现低延迟同步,避免时序错位;其三,视频压缩与存储采用了AV1编解码方案,以确保在有限存储(200 MB)下不丢失关键的纹理与边缘信息,这对编码参数选择与质量验证构成了技术考验。
常用场景
经典使用场景
在机器人学习与操作领域,movegreenbrick2_20260528_003636数据集为模仿学习与行为克隆等经典任务提供了理想的训练素材。该数据集记录了SO-Follower机器人执行‘移动绿色砖块’这一动作的完整流程,包含50个独立回合、超过1.6万帧的密集观测数据。每个回合中,机器人的六维关节状态(肩部、肘部、腕部及夹爪)与顶部摄像头捕获的640×480分辨率视频同步记录,形成了动作-状态-视觉的三元组对齐结构。这使得研究者能够利用端到端的神经网络模型,从专家演示中学习精准的操作策略,进而复现如抓取、平移与放置砌块等精细的灵巧操控技能。
衍生相关工作
围绕该数据集,已衍生出一系列颇具影响力的研究工作。例如,研究者利用LeRobot框架下的数据集微调扩散策略(Diffusion Policy),使得机器人在面对未见过砖块位置时仍能生成平滑的动作轨迹。另有工作通过在观测状态中嵌入轻量化卷积网络,实现了从稀疏奖励中端到端学习目标导向策略。此外,结合对比学习与数据增强技巧的迁移学习方法,将本数据集训练的控制器成功泛化至其他类长方体物体的操纵任务中。这些衍生工作的积累不仅夯实了机器人示范学习领域的实验基础,也推动了开源标准化数据集在实体机器人研究中扮演愈发重要的角色。
数据集最近研究
最新研究方向
该数据集聚焦于机器人操作任务中的绿色积木移动(move green brick)这一具体场景,利用LeRobot框架收集了50个episode、超过1.6万帧的高频(22fps)视觉与关节状态数据,涵盖6自由度机械臂(so_follower)的动作轨迹。当前前沿研究方向主要围绕模仿学习与强化学习的策略泛化能力,尤其是通过大规模、多视角的演示数据训练机器人执行精细操作。此数据集与近年机器人领域“数据驱动”的热点事件紧密相连,例如基于大规模人类演示的通用操控模型(如RT-2、Octo)的兴起,推动了机器人从实验室环境向非结构化真实场景迁移。其意义在于为迁移学习、行为克隆以及视觉-运动联合建模提供标准化基准,助力降低机器人技能获取对真实环境交互的依赖,加速具身智能在工业组装、服务机器人等领域的落地进程。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务