annsong/rollout_green-block-blue-bin_20260527_170102

该数据集是一个机器人学数据集，由LeRobot创建，用于机器人控制和学习任务。数据集包含一个完整的机器人操作回合，总共有1746帧数据，帧率为30fps。数据特征包括机器人的动作（6个关节位置：肩部平移、肩部升降、肘部弯曲、手腕弯曲、手腕旋转、夹爪位置）、状态观测（与动作相同的6个关节位置）、图像观测（来自笔记本电脑摄像头和夹爪摄像头的视频，分辨率为480x640，3通道彩色视频，使用av1编解码器），以及时间戳、帧索引、回合索引、索引和任务索引等元数据。机器人类型为so_follower，数据集以parquet文件格式存储，视频以mp4格式存储，总数据文件大小为100MB，视频文件大小为200MB。数据集适用于机器人控制、强化学习或计算机视觉任务的研究和开发。This is a robotics dataset created by LeRobot for robotic control and learning tasks. It contains a complete robotic manipulation episode, with a total of 1746 frames at 30fps. The dataset features include robot actions (6 joint positions: shoulder translation, shoulder lift, elbow flexion, wrist flexion, wrist rotation, and gripper position), state observations (the same 6 joint positions as the robot actions), image observations (videos from the laptop camera and gripper camera, with a resolution of 480x640, 3-channel color video using the av1 codec), as well as metadata such as timestamps, frame index, episode index, index, and task index. The robot type for this dataset is so_follower. The dataset is stored in parquet file format, while the videos are stored in mp4 format. The total size of the dataset files is 100MB, and the total size of the video files is 200MB. This dataset is applicable to research and development for robotic control, reinforcement learning, or computer vision tasks.

搜集汇总

数据集介绍

构建方式

该数据集依托于LeRobot框架构建，专注于机器人操作任务的轨迹记录。数据通过真实机器人执行“将绿色方块放入蓝色箱子”这一具体任务而生成，采集频率为30帧每秒。数据集以Parquet格式存储结构化信息，包括机器人六个关节的动作指令与状态观测数据，同时配备来自笔记本电脑摄像头和夹爪摄像头的双视角视频流，视频采用AV1编码并压缩为MP4格式。整个数据集仅包含一个完整回合，共计1746帧，并根据时间戳、帧索引和episode索引等元数据实现精确对齐。

特点

本数据集最大的特色在于其多模态融合特性，同时提供了高精度关节级动作指令与状态信息，以及480×640分辨率的双路视觉观测数据，为模仿学习与行为克隆提供了丰富的输入维度。此外，数据以30Hz的帧率捕获任务全过程，保证了时序上的细腻度。数据集采用Apache-2.0开源许可，便于学术研究使用。仅单个episode的设计使其轻量化，适合快速验证算法，但同时也限制了数据的规模多样性。

使用方法

用户可通过LeRobot库便捷加载该数据集。使用前需安装LeRobot并调用相关API，将数据路径指定为HuggingFace上的‘annsong/rollout_green-block-blue-bin_20260527_170102’。加载后可按episode索引访问包含动作、状态、图像帧及时间戳的完整样本。由于数据集已预先划分训练集，用户可直接用于训练端到端的机器人控制策略。可视化工具也支持在浏览器中播放episode的回放，便于直观审查数据质量。

背景与挑战

背景概述

在机器人学习领域，基于模仿学习的策略训练高度依赖高质量、多模态的示范数据集。该数据集“rollout_green-block-blue-bin_20260527_170102”诞生于2026年，由Hugging Face社区利用LeRobot框架创建，专注于机器人灵巧操作任务。其核心研究问题聚焦于如何通过视觉与状态信息的结合，使机器人学会将绿色方块准确放置于蓝色料箱中。数据集包含单条任务轨迹、1746帧视频帧及6维关节动作与状态数据，为机器人从示范中学习精细操纵提供了标准化样本。尽管规模有限，但该数据集在LeRobot生态中作为验证模仿学习算法的基础资源，对推动机器人操作任务的复现与比较具有参考价值。

当前挑战

该数据集所应对的领域挑战在于机器人抓取与放置操作的泛化能力：目标物体（绿色方块）和容器（蓝色料箱）的形状、位置、光照变化要求算法具备鲁棒性，而单一场景下仅一条轨迹的数据量难以覆盖真实世界的多样性。在构建过程中，挑战体现在数据采集与标注的精细度上：30Hz的高帧率视频需与六维动作序列严格同步，同时通过两个视角（笔记本电脑摄像头与夹爪摄像头）记录环境与末端执行器信息，但AV1视频编码与多模态特征的统一存储格式（Parquet与MP4）增加了后处理的计算负担。此外，数据集仅包含1条完整轨迹，缺失多任务拓展与抗干扰场景，限制了其在复杂任务中的直接迁移性。

常用场景

经典使用场景

在机器人学习与模仿学习领域，rollout_green-block-blue-bin_20260527_170102数据集作为一项精细操作任务的示范样本，主要用于训练机器人从视觉输入中学习将绿色方块精准放置到蓝色收纳箱中的动作策略。该数据集包含由LeRobot框架采集的共1746帧高保真运动轨迹，涵盖六自由度机械臂与夹爪的关节位置序列，并同步提供了笔记本电脑视角与夹爪视角的双目视觉信息。研究者可借此构建端到端的视觉-动作映射模型，利用行为克隆、逆强化学习或离线强化学习等方法，使机器人掌握基于图像状态直接输出关节控制指令的能力，从而在非结构化环境中完成零件分拣等典型工业任务。

实际应用

在工业自动化与智能仓储的实际部署中，该数据集对应的拾取-放置任务具有广泛代表性。基于该数据训练的模型可直接应用于流水线上的零件分拣场景，例如工业机械臂通过头顶与腕部摄像头识别彩色目标物（如绿色方块），并决策将其运送至指定容器的路径。由于数据集保留了30帧/秒的高频采样，模型能够捕捉夹爪接近、接触及释放物体时的微调动作，这为电子元器件装配、药品分拣等需求毫米级精度的场景提供了关键的运动平滑性支撑。借助LeRobot生态系统，开发者可快速将此数据集迁移至真实协作机器人（如库卡LBR iiwa或Franka Emika）进行微调，缩短从实验室验证到产线部署的周期。

衍生相关工作

该数据集与LeRobot生态系统紧密耦合，衍生出多项关于高维观测空间到低维动作空间映射的经典工作。例如，利用此数据可复现基于扩散策略（Diffusion Policy）的机器人操作模型，其中去噪扩散概率模型通过学习动作序列的条件分布，显著提升了轨迹生成的多模态性与平滑度。在表示学习层面，该数据集启发了将联合嵌入预测架构（如JEPA）应用于机器人视频预测的研究，促使模型从无标注的视觉序列中提取语义不变特征。此外，基于此数据开发的时序对比学习损失函数，已被用于缓解单次示范数据的稀疏奖励问题，并为后续多任务演示数据融合方案提供了有效的参照基准。