SunkissTT/eval_smolvla_omx_pnp_red_cube_100k

该数据集是一个机器人学数据集，使用LeRobot创建，专为omx_follower机器人设计。数据集包含1个episode、1492帧和1个任务，数据以parquet文件格式存储，视频文件以mp4格式存储，帧率为30fps。特征包括动作（6个浮点数表示关节位置：shoulder_pan.pos、shoulder_lift.pos、elbow_flex.pos、wrist_flex.pos、wrist_roll.pos、gripper.pos）、观察状态（与动作相同的6个浮点数关节位置）、来自两个摄像头的图像观察（camera1和camera2，每个为480x640分辨率、3通道彩色视频），以及其他元数据如时间戳、帧索引、episode索引、任务索引和索引字段。数据集总数据文件大小为100MB，视频文件大小为200MB，适用于机器人控制和学习任务。This is a robotics dataset developed using LeRobot, specifically designed for the omx_follower robot. The dataset contains 1 episode, 1492 frames, and 1 task. The data is stored in Parquet file format, while the video files are in MP4 format with a frame rate of 30 fps. The features include actions (6 floating-point numbers representing joint positions: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos), observation states (the same 6 floating-point joint positions as the actions), image observations from two cameras (camera1 and camera2, each with a resolution of 480x640, 3-channel color video), as well as other metadata such as timestamps, frame index, episode index, task index and index field. The total size of the dataset's data files is 100 MB, and the video files are 200 MB. This dataset is suitable for robotics control and learning tasks.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于评估机器人操作技能。数据集由单次任务演示构成，共包含1492帧连续动作序列，以30帧每秒的采样频率记录。数据通过OMX跟随者机器人采集，执行拾取与放置操作，目标为红色立方体。采用Apache-2.0许可协议公开，数据以Parquet格式存储，视频部分采用AV1编码的MP4文件保留，确保了高保真度与资源利用率的平衡。

特点

数据集突出呈现了精细化的机器人操作轨迹，记录了包括肩部升降、肘部弯曲、腕部屈伸及夹爪在内的6自由度关节状态与对应动作指令。双摄像头（480x640分辨率）同步捕获视觉观测，提供多视角感知信息。数据规模控制在100MB以下，视频部分约200MB，适合作为轻量级基准测试集。单任务单次演示的特性使其适用于模仿学习等场景下的快速评估与模型验证。

使用方法

用户可通过LeRobot工具链直接加载与可视化此数据集，Hugging Face Spaces提供交互式预览界面。数据按训练集划分（0:1），即全部数据用于训练场景。使用时应读取Parquet文件中的观测状态与动作序列，结合摄像头视频帧构建端到端学习管道。推荐基于LeRobot标准接口进行数据预处理，支持构建动作分块（chunk_size=1000）等典型机器人学习范式。

背景与挑战

背景概述

eval_smolvla_omx_pnp_red_cube_100k数据集由Hugging Face社区主导，基于LeRobot框架创建，专注于机器人操作领域。该数据集以单集形式包含1492帧图像与动作序列，利用OMX跟随机器人执行红色立方体抓取放置任务，核心研究问题在于探索小规模数据驱动下机器人精细操作能力的提升。通过双摄像头视觉输入与六自由度关节状态记录，为模仿学习与强化学习提供标准化基准，对推动低样本机器人学习范式具有重要参考价值。

当前挑战

该数据集所解决的领域问题聚焦于机器人离散抓取任务中的视觉-运动协调挑战，尤其在数据极度稀缺（仅1个训练回合）条件下，如何从高维图像特征中稳健提取目标物体位姿并生成精确运动轨迹成为关键难题。构建过程中面临物理环境动态干扰、双摄像头视角遮挡以及末端执行器力控精度不足等工程挑战，同时数据采样频率（30fps）与动作维度（6自由度）的匹配需平衡实时性与控制精度，确保物理闭环的有效性。

常用场景

经典使用场景

在机器人操作与模仿学习领域，eval_smolvla_omx_pnp_red_cube_100k数据集承载着精细操控任务的评估与训练使命。该数据集聚焦于机械臂在双摄像头视觉引导下，执行红色立方体拾取与放置（Pick and Place）的单一任务，通过记录6维关节空间动作序列与同步的视觉观测，为基于视觉的运动策略提供了标准化的测试载体。其经典使用场景在于验证小样本模仿学习算法在真实机器人上的泛化能力，特别是评估模型能否从有限的演示轨迹中提取关键操作意图，并泛化至物体位置轻微变化的环境。

解决学术问题

该数据集的发布有效缓解了机器人学习领域长期存在的数据标准化缺失与跨研究复现困难等问题。通过提供高精度关节状态、多视角视频与动作指令的完整对齐，它为解决‘从像素到动作’的端到端策略学习提供了可比对的基准。学术界利用该数据集可深入探索视觉特征与运动控制之间的映射关系，推动对模仿学习中因果推断、行为克隆偏差以及多模态融合等核心难题的理解，其意义在于加速了从理论模型到实物机器人部署的验证闭环。

衍生相关工作

围绕此类精细操作数据集，衍生出了一系列推动机器人学习边界的工作。研究者常基于该数据构建‘视觉-语言-行动’联合模型的小规模评估集，用以验证多模态大模型在低数据量下的零样本操控能力。同时，该数据集蕴含的连续控制轨迹也为探索扩散策略（Diffusion Policy）在真实高频控制场景中的鲁棒性提供了实验土壤。此外，对比不同因果关系发现算法在短时序动作分割任务上的表现，也常以此为基准，催生了更高效的数据增强与领域随机化方法。