eval_cosmos_pipette_ood

该数据集使用LeRobot库创建，专注于机器人技术领域，特别适用于双机械臂系统的控制或模仿学习任务。数据集包含20个episodes，总计20595帧，覆盖2个不同的任务。数据以.parquet格式存储，总大小约100 MB，同时提供多视角视频文件，总大小约200 MB，帧率为30 fps。所有数据均划分给训练集使用。数据集的核心特征包括：动作数据（14维浮点数组，表示左右机械臂的6个关节位置和夹爪位置）、观测状态数据（14维浮点数组，与动作结构相同，反映机器人关节状态）、以及来自右、左、顶三个视角的图像观测（视频格式，分辨率为360x640，3通道RGB，使用AV1编解码）。此外，还包含时间戳、帧索引、episode索引、索引和任务索引等元数据字段，用于跟踪数据时序和任务上下文。机器人类型为bi_yam_follower，表明可能涉及跟随或协作任务。该数据集适用于机器人策略学习、行为克隆、多模态感知等研究场景。

This dataset is created using the LeRobot library and focuses on the field of robotics, particularly suitable for control or imitation learning tasks involving dual-arm robotic systems. It contains 20 episodes, totaling 20,595 frames, covering 2 different tasks. The data is stored in .parquet format with a total size of approximately 100 MB, and multi-view video files are also provided, with a total size of about 200 MB and a frame rate of 30 fps. All data is allocated for training set use. The core features of the dataset include: action data (14-dimensional floating-point arrays representing the 6 joint positions and gripper positions of the left and right robotic arms), observation state data (14-dimensional floating-point arrays with the same structure as actions, reflecting robot joint states), and image observations from right, left, and top perspectives (video format, resolution 360x640, 3-channel RGB, using AV1 codec). Additionally, metadata fields such as timestamps, frame indices, episode indices, indices, and task indices are included to track data timing and task context. The robot type is bi_yam_follower, indicating potential involvement in following or collaborative tasks. This dataset is applicable to research scenarios such as robot policy learning, behavior cloning, and multimodal perception.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于机器人操作任务的分布外检测。数据来源于一台双臂机器人（bi_yam_follower）在模拟或真实环境中的执行记录，涵盖了两种不同的操作任务。数据集共计包含20个完整回合（episode）和20595帧时序数据，通过30帧每秒的高频采样，精细捕捉了机器人的状态与动作序列。数据以Parquet格式存储，分为100个数据块，同时视频文件以AV1编码存储，包含左、右、顶部三个视角，分辨率为360×640像素，为多模态学习提供了丰富的视觉与运动信息。训练集分配了全部20个回合用作模型训练。

特点

数据集的核心特色在于其专门设计用于评估分布外（OOD）检测能力，属于机器人学习领域的稀缺资源。其动作与状态空间维度均为14维，精确对应双臂各六个关节和一个夹爪的位姿控制量，高保真地反映了实际操控需求。多视角视觉观测连同精密编码的时序信息，使得模型能够同步获取环境图像与自身状态的动态演化。此外，数据中明确记录了任务索引，便于进行多任务学习与泛化性分析。这种融合高维动作、状态与多视角视频的结构，为研究机器人在非预期场景下的鲁棒性提供了理想基准。

使用方法

使用该数据集时，推荐通过LeRobot库加载Parquet和视频文件。数据读取后，可以提取包含动作（action）与观测状态（observation.state）的14维向量序列，并结合三个视角的图像帧（observation.images）进行多模态模型训练。用户需注意特征命名规则，如关节位置和夹爪状态。由于数据集已预设训练集涵盖全部20个回合，可直接用于模拟分布内场景，进而配合自定义的异常任务实例以构建OOD测试。通过对比模型在已知与未知任务上的表现差异，能够定量评估算法的分布外检测性能。

背景与挑战

背景概述

该数据集由基于LeRobot框架构建，聚焦于机器人操作领域的分布外（Out-of-Distribution, OOD）泛化问题。数据集创建于2024年，由Hugging Face社区与相关机器人研究团队合作开发，旨在评估机器人在未知环境或任务变化下的鲁棒性。核心研究问题是双手机器人如何在不依赖预先标注的边界条件下，识别并适应与训练分布存在偏差的物理交互场景。该数据集包含20个完整操作片段、超过2万帧高分辨率视觉与关节状态数据，涵盖2种不同任务，并通过多视角摄像（左、右、顶部）捕获细粒度操作细节。其发布显著推动了机器人领域OOD检测与泛化能力的标准化评估，为后续研究提供了可复现的基准。

当前挑战

当前该数据集面临的核心挑战包括：首先，在领域问题层面，机器人操作中的OOD检测缺乏统一理论框架，现有模型难以在保持高精度的同时有效区分噪声与真实分布偏移，尤其在抓取、装配等接触密集型任务中，微小状态变化可能引发灾难性扩增。其次，数据集构建过程中，双机协作系统的复杂动力学导致20个采集片段难以充分覆盖真实场景中的任务变体（如物体材质、光照突变）；此外，高维状态空间（14维关节参数+多路视频流）与有限样本量（约2万帧）之间的不平衡，要求算法在数据效率与泛化边界间取得艰难权衡。

常用场景

经典使用场景

在机器人学习与灵巧操作领域，eval_cosmos_pipette_ood数据集为评估仿人双机械臂在微量液体处理任务中的泛化能力树立了标杆。该数据集采集自双臂协同的移液操作平台，包含20个完整回合、逾两万帧的精细动作数据，涵盖两种不确定性移液任务。其独特之处在于融合了高维关节指令（14维动作空间）与多视角视觉反馈（左、右、顶三路摄像头），为模仿学习及离线强化学习提供了接近真实场景的测试环境。研究者通过在此数据集上对比模型在未见过的移液姿态、液体粘稠度或容器位置扰动下的表现，能够系统性地检验算法对分布外场景的鲁棒性。

解决学术问题

该数据集核心回应了机器人技能迁移中的分布外泛化困境。在学术层面，它精准量化了从预设移液轨迹向随机瓶口位置、非标准吸液量及倾斜容器等变体迁移时，现有算法性能的衰减程度。通过设定明确的单步动作连续性要求与目标达成率指标，eval_cosmos_pipette_ood促使学界重新审视传统行为克隆在遭遇新手势、新材质或新空间布局时的脆弱性。这一基准的建立，推动了融合因果推理、域随机化与隐式运动先验等新范式的诞生，助力研究者从表象效仿走向深层的操作逻辑提取，从而加速通用机器人技能库的构建进程。

衍生相关工作

该数据集催生了多项突破性工作。围绕其双机械臂协同数据，研究者开发了异构躯干的知识蒸馏框架，使得单臂平台也能从双臂演示中萃取移液的关键协调相位。针对其多视角图像信息，涌现出融合隐式运动规划的视觉模仿学习模型，通过在共享特征空间对齐手臂末端轨迹与液体表面波动，大幅降低了对精确位姿标注的依赖。更前沿的方向利用对抗数据增强技术，在该数据集基础上自动生成高难度的分布外扰动样本，进而训练出具备主动误差补偿能力的鲁棒策略，为实验室无人化值守奠定了坚实的技术底座。