Omnipush

Omnipush数据集由麻省理工学院创建，旨在提供一个高多样性的平面推动行为数据集。该数据集包含250个对象，每个对象进行250次推动，总计62500条记录，所有推动均通过RGB-D视频和高精度跟踪系统记录。数据集设计用于系统探索影响推动的关键因素，如物体形状和质量分布，并允许研究模型学习的泛化能力。Omnipush数据集包括动态模型元学习基准，需要算法进行准确预测并估计自身不确定性。此外，数据集还提供了RGB视频预测基准，并提出了其他相关任务，适用于该数据集。

The Omnipush dataset, developed by the Massachusetts Institute of Technology (MIT), aims to provide a high-diversity planar pushing behavior dataset. It comprises 250 distinct objects, with 250 pushing trials conducted for each object, resulting in a total of 62,500 records. All pushing operations are recorded using RGB-D videos and a high-precision tracking system. This dataset is designed to systematically investigate key factors influencing planar pushing, such as object shape and mass distribution, and to support research on the generalization capabilities of learned models. The Omnipush dataset includes a dynamic model meta-learning benchmark, which requires algorithms to generate accurate predictions and estimate their own uncertainty. Additionally, the dataset provides an RGB video prediction benchmark and proposes other relevant tasks applicable to this dataset.

搜集汇总

数据集介绍

构建方式

Omnipush数据集的构建依托于一个高精度的自动化数据采集系统，该系统由ABB IRB 120六自由度工业机器人、刚性钢制推杆、ABS摩擦表面、Vicon运动捕捉系统以及Intel Realsense D415 RGB-D相机组成。研究者设计了250个模块化铝制物体，通过磁吸方式组合不同形状的侧边（凹面、三角形、圆形、矩形）并在特定位置添加额外配重，系统性地探索了形状与质量分布对推动动力学的影响。每个物体均执行250次随机方向与起始位置的平面推动，推杆以恒定速度推进5厘米，持续1秒，同时以250Hz频率记录物体与推杆的位姿数据，并以30Hz频率采集RGB-D视频。整个流程通过ROS框架实现自动化控制与数据同步，最终生成超过60,000次高保真推动记录。

特点

该数据集的核心特点在于其高度的多样性与系统性。相较于先前数据集仅包含11个均匀质量分布的物体，Omnipush通过250种不同形状与质量分布的物体组合，实现了对推动动力学中两个关键因素——接触几何与压力分布——的全面覆盖。数据集同时提供高精度位姿追踪（平移精度0.5mm、旋转精度0.5°）与RGB-D视觉数据，支持从原始感官信息到精确状态估计的多层次研究。此外，数据集内置了元学习基准，要求算法在少量样本下预测物体运动并量化不确定性，并提供了跨材质、跨表面的分布外扩展数据集，为评估模型的泛化能力提供了标准化测试平台。

使用方法

Omnipush数据集适用于多种机器人学习任务。对于动力学建模，研究者可利用提供的位姿数据（3维或5维输入）预测物体位移（Δx, Δy, Δθ），并基于元学习基准测试模型在小样本（如10或50次推动）下的泛化能力与不确定性估计性能。对于视频预测任务，RGB-D序列可用于训练条件视频生成模型，在给定初始帧或动作序列的条件下预测未来帧，评估指标包括PSNR与SSIM。数据集以ROS bag、HDF5和JSON格式提供，并附有CAD模型与预处理代码，便于研究者直接加载数据、复现基准实验或设计新算法，如主动学习、滤波与表示学习等前沿方向。

背景与挑战

背景概述

在机器人操作领域，推动（pushing）作为一项基础技能，长期以来依赖于近似物理模型，其适用范围受限于模型假设的精确性。为突破这一瓶颈，麻省理工学院的研究团队（包括Maria Bauza、Ferran Alet、Leslie P. Kaelbling等）于2019年发布了Omnipush数据集。该数据集的核心创新在于系统性地探索了物体形状与质量分布对推动动力学的影响，提供了250个物体各250次推动的RGB-D视频及高精度位姿追踪数据。与早期仅包含11个均匀质量物体的数据集不同，Omnipush通过模块化设计实现了对质量分布的可控变化，为研究动力学模型的泛化能力提供了前所未有的资源。该数据集已催生元学习、视频预测等方向的研究，成为连接物理仿真与真实机器人操作的标杆性平台。

当前挑战

Omnipush所解决的领域挑战在于推动动力学的精确建模与泛化。传统解析模型因忽略摩擦异质性而难以适应真实场景，而数据驱动方法虽能提升精度，却受限于训练数据的多样性不足。构建过程中，团队面临两大难题：一是如何确保250个物体在形状与质量分布上的系统性差异，从而覆盖压力分布与接触几何的耦合效应；二是如何在自主采集流程中平衡随机性与数据质量，例如通过自适应推送方向策略提高有效接触的比例。此外，数据集还暴露出当前算法的短板：元学习模型在不确定性量化上表现欠佳，且对分布外物体的泛化能力有限，这为后续研究提出了明确挑战。

常用场景

经典使用场景

在机器人操作领域，推动是基础且关键的技能。Omnipush数据集以其高保真度、多样化的平面推动动力学数据而著称，包含250个物体各250次推动的RGB-D视频与精确轨迹。其经典使用场景在于为元学习动态模型提供标准化基准，研究者可利用该数据集训练算法，使其在仅观察少数推动样本后，快速适应新物体的动力学特性，从而评估模型在少样本场景下的泛化能力与不确定性估计。

实际应用

在实际应用中，Omnipush赋能机器人实现精准的推操作，例如在杂乱环境中抓取前重新定向物体、清空桌面场景以及完成装配任务。其RGB-D数据支持基于视觉的预测控制，使机器人能够从原始像素中学习动力学，从而应对现实世界中的不可观测变量（如质量分布）。此外，该数据集可用于工业分拣、家庭服务机器人中的非刚性物体操作，以及需要快速适应新物体属性的自适应控制场景。

衍生相关工作

Omnipush衍生了一系列经典工作，包括：结合分析模型与学习方法的混合动力学预测（如Kloss等人提出的组合模型）；基于注意力神经过程的元学习基准（Kim等人）；以及利用图元素网络进行结构化推理的模型（Alet等人）。此外，随机视频预测方法（如SVG-LP与SAVP）在此数据集上被评估，揭示了现有模型在长时域预测中形状保持的不足，进而催生了条件式视频预测与主动学习策略的研究。