abdul004/molmoact2-so101-zero-shot-eval

该数据集包含在SO-101机器人手臂上使用AllenAI发布的MolmoAct2 SO-100/SO-101检查点进行零样本评估的跟踪记录。它是一个评估工件，而非训练数据集或模型检查点。数据集记录了通过远程异步推理设置（使用LeRobot MolmoAct2集成）运行模型时产生的轨迹，包括视频、GIF预览、元数据和原始事件日志。评估结果显示，尽管基础设施路径正常工作，但策略在行为层面存在失败，例如初始运动后停滞或产生接近当前机器人姿态的目标。数据集主要用于定性检查和调试，适用于机器人学、视觉-语言-动作和零样本评估研究。This dataset contains evaluation traces from running the AllenAI released MolmoAct2 SO-100/SO-101 checkpoint zero-shot on an SO-101 robot arm using the official LeRobot MolmoAct2 integration plus a remote async inference setup. It is an evaluation artifact, not a training dataset or model checkpoint. The dataset records traces generated during model execution, including videos, GIF previews, metadata, and raw event logs. Evaluation results show that while the infrastructure path worked, the policy exhibited behavioral failures, such as stalling after small initial motion or producing targets close to the current robot pose. The dataset is intended for qualitative inspection and debugging, suitable for research in robotics, vision-language-action, and zero-shot evaluation.

搜集汇总

数据集介绍

构建方式

该数据集源于对allenai/MolmoAct2-SO100_101模型在SO-101机器人手臂上进行零样本推理的评估过程。依托LeRobot框架的MolmoAct2集成模块，配合远程异步推理机制，在RunPod GPU服务器上部署推理服务，并与本地SO-101机器人客户端建立gRPC通信。系统通过两台OpenCV相机持续捕获640×480分辨率的视觉数据，服务器以连续流形式返回动作块，由机器人执行。所有观测帧、动作块及执行动作均被记录为结构化轨迹，存储于Parquet格式文件中，同时保存元数据和GIF预览以辅助定性分析。

使用方法

用户可通过加载data/evaluation_frames.parquet文件访问结构化轨迹数据，每行对应一帧相机观测，包含相机标签、轨迹ID、帧索引、任务指令及执行结果。媒体目录提供了GIF动画与JSON格式的元数据和事件日志，便于复现分析。数据集适用于定性评估和调试，而非量化基准测试。参考reproduction notes中的命令行参数，用户可在类似硬件上复现推理流程，通过调整robot.type、camera配置、server_address及policy_config_overrides等参数，探索不同设置下的模型行为差异。

背景与挑战

背景概述

MolmoAct2 SO-101零样本评估追踪数据集由研究者Abdul于2026年创建，旨在评估AllenAI发布的MolmoAct2 SO-100/SO-101检查点在SO-101机器人臂上的零样本任务执行能力。该数据集依托于LeRobot框架与远程异步推理架构，通过RunPod GPU服务器与本地机器人客户端的协同工作，记录了包括拾取物品并放入容器在内的典型操作任务的执行痕迹。作为机器人视觉-语言-行动策略评估的重要实证资源，该数据集揭示了现有基础模型在直接迁移至实体机器人系统时面临的性能瓶颈，为后续策略优化与领域适配提供了关键参照。

当前挑战

数据集所解决的领域核心挑战在于，尽管MolmoAct2模型在基础设施层面成功实现了从视觉观测到动作指令的实时闭环推理，但在零样本条件下执行具体操作任务时表现出显著的策略失效——模型仅能产生微小初始运动或输出趋近当前位姿的目标，无法完成复杂任务。构建过程中面临的挑战则包括：在本地SO-101机器人臂上集成远程GPU推理服务器并确保实时通信稳定性，通过OpenCV摄像头以30帧每秒的速率采集高维视觉数据，以及设计去钳制配置以消除客户端动作限制对策略表现的干扰。实验对比表明，相同硬件与推理框架在部署其他策略时可产生有效行为，从而将问题定位至策略本身而非系统架构的局限性。

常用场景

经典使用场景

在机器人学习与视觉-语言-动作（VLA）模型评估的交叉领域中，MolmoAct2 SO-101零样本评估轨迹数据集扮演着关键的角色。该数据集记录了基于MolmoAct2策略的SO-101机器人臂在零样本条件下的执行过程，通过远程异步推理框架采集了包括顶置和腕部摄像头在内的多视角图像、机器人状态及动作块数据。其最经典的用途是为研究者提供一个结构化的评估基准，用于定性分析多模态大模型直接迁移至未见过真实机器人操作任务时的行为特征，例如初始动作产生后停滞或目标接近当前位姿等典型失败模式。数据集中的每个轨迹都包含详细的元数据、事件日志及GIF预览，使得它成为诊断视觉语言模型在连续动作空间中泛化能力的宝贵资源。

解决学术问题

该数据集直面多模态操作策略在零样本迁移至异构机器人平台时的核心学术难题，即如何量化和诊断预训练视觉-语言模型在未见过硬件配置下的行为失效机制。研究者长期困惑于模型性能瓶颈究竟源于感知瓶颈、策略固有意愿不足还是系统集成噪声。此数据集通过详细记录‘pick up the whistle and put it in the green bin’等任务中的动作块演变、夹爪目标变化及关节角度偏移，提供了证据表明在无夹持限制条件下，行为层面的停滞才是失败的主因，而非通信或延迟问题。这推动了学术界重新审视VLA策略的零样本泛化能力边界，并强调了在训练数据之外的动作空间平滑性对实际部署的重要性。

实际应用

在实际应用中，该数据集的意义在于指导工业级机器人部署中的容错设计与模型选择。由于MolmoAct2策略在SO-101臂上未能完成拾取与放置任务，而同一硬件架构在微调的Pi0.5策略下表现优异，数据集为机器人实操者提供了一个宝贵的对比案例：它帮助技术人员识别出预训练模型直接上线时可能遇到的隐蔽失败场景，例如动作块逐渐收敛至零输出或抓取目标漂移。这种对比在自动化仓库、家庭服务机器人和医疗辅助操作等需要快速部署通用策略的场景中尤为关键。此外，数据集提供的远程推理配置和硬件参数可直接作为模板，供工程师在类似RunPod GPU和Mac Mini客户端环境中复现或调试自己的推理管线。

数据集最近研究

最新研究方向

在具身智能与机器人学习的前沿交叉领域，MolmoAct2模型在SO-101机械臂上的零样本评估揭示出视觉-语言-动作联合模型在跨硬件平台迁移中的核心瓶颈。尽管远程推理基础设施表现稳健——通过RunPod GPU与本地客户端构建的gRPC异步推理链路能够连续传输观测与动作数据——模型在未经微调的情况下，面对“拾取口哨并放入绿色箱子”等细粒度操控任务时，其行为层面出现策略锁定现象：初始动作幅值有限，后续动作仅围绕当前关节构型产生微小扰动，未能通过连续运动完成任务级目标。这一发现与Pi0.5模型在同一硬件栈上的成功表现形成鲜明对比，表明零样本泛化能力仍受制于模型预训练数据与目标场景之间的分布偏移，凸显了构建大规模、多场景机器人训练数据集与高效微调范式的迫切需求，对推动具身智能系统走向通用化部署具有关键参考意义。