ManiSkill

该数据集是一个包含4个机器人操作任务的基准测试，这些任务涉及到单臂和双臂移动机器人对不同关节物体的操作。这些任务需要对代理和物体之间的复杂3D空间关系进行深入推理。该数据集的主要任务是机器人操作。

This dataset is a benchmark comprising four robotic manipulation tasks. These tasks involve the manipulation of articulated objects by single-arm and dual-arm mobile robots, and require in-depth reasoning about the complex 3D spatial relationships between the robotic agent and the objects. The primary task of this dataset is robotic manipulation.

搜集汇总

数据集介绍

构建方式

ManiSkill 数据集基于 SAPIEN 全物理仿真器构建，从 PartNet-Mobility 数据集中精选并手工处理了 162 个高拓扑与几何多样性的铰接物体，涵盖柜门、抽屉、转椅和桶四类操作任务。为确保环境可解，研究团队对物体模型进行了人工凸分解与物理参数调整，并通过强化学习（SAC 算法）以分而治之的方式为每个训练物体收集了约 36,000 条成功轨迹，总计约 150 万帧点云或 RGB-D 数据，形成大规模示范数据集。

特点

该数据集的核心特点在于其丰富的物体内类拓扑与几何变化，能够有效评估算法在未见物体上的泛化能力。任务设计覆盖了旋转关节、棱柱关节、平面运动和无约束四种运动类型，并包含单臂与双臂协作场景，挑战不同维度的操控技能。此外，数据集提供了三种观测模式（状态、点云、RGB-D），并配备了全景式机器人视角，支持 3D 视觉输入，为计算机视觉与强化学习的交叉研究提供了理想平台。

使用方法

ManiSkill 支持多赛道评估协议：无交互赛道仅允许使用提供的示范轨迹进行行为克隆等监督学习；无外部标注赛道允许在训练环境上进行在线微调；无限制赛道则开放所有方法，包括传统运动规划与手动规则。用户可根据自身研究背景选择赛道，利用开源代码库（含模拟器、环境、SDK 和基线模型）在测试物体上评估平均成功率，以衡量操控技能的物体级泛化性能。

背景与挑战

背景概述

在机器人操作领域，实现从三维视觉输入中学习可泛化的物体操控技能一直是研究的前沿与难点。人类能够轻松应对同一类别中拓扑与几何结构迥异的新物体，而现有基准数据集在物体多样性与物理仿真保真度上存在明显不足。为此，加州大学圣地亚哥分校的Hao Su团队于2021年在NeurIPS上提出了ManiSkill基准数据集，旨在填补这一空白。该数据集基于SAPIEN物理仿真器，精心挑选并处理了来自PartNet-Mobility数据集的162个铰接物体，涵盖柜门、抽屉、转椅与桶等四大类任务，并提供了约3.6万条高质量演示轨迹。ManiSkill的核心研究问题在于评测算法在未见物体上的泛化能力，其发布推动了三维视觉、强化学习与机器人学交叉领域的发展，成为该方向的重要评测平台。

当前挑战

ManiSkill数据集面临的核心挑战首先体现在领域问题层面：现有算法难以在复杂拓扑与几何变化的物体间实现可泛化的操控技能，即便是基于三维点云的模仿学习与离线强化学习方法，在测试物体上的成功率依然偏低，表明感知与策略的泛化能力亟待突破。其次，在数据集构建过程中，挑战尤为严峻：原始PartNet-Mobility数据存在标注错误与碰撞形状缺陷，需大量人工筛选与重建模；为生成大规模演示轨迹，团队采用了分而治之的强化学习策略，但训练单一智能体同时处理多物体环境极为困难，且需为每个物体精心设计共享奖励模板并通过模型预测控制进行验证，整个过程耗时耗力，对计算资源要求极高。

常用场景

经典使用场景

ManiSkill作为面向可泛化物体操作技能学习的基准平台，其核心使用场景在于评估和推动从三维视觉输入中学习物理操作策略的算法发展。该数据集专为研究物体级泛化能力而设计，通过在完整物理引擎中模拟多样化的铰接物体（如柜门、抽屉、转椅和桶），为研究者提供了涵盖旋转关节、棱柱关节、平面运动和无约束运动四种典型操作挑战的任务环境。其经典用法是，研究者利用提供的自中心全景点云或RGB-D观测数据，训练策略模型在训练集物体上学习操作技能，然后在未见过的测试集物体上评估其泛化性能，从而系统性地衡量算法对拓扑和几何形状变化的适应能力。

衍生相关工作

ManiSkill的发布催生了一系列衍生工作，推动了三维深度学习和操作学习领域的融合。其基线方法中，PointNet与Transformer结合的架构为后续研究提供了重要参考，证明了结构化感知模块在提升样本效率上的潜力。基于该基准，研究者进一步探索了更先进的三维骨干网络（如PointNet++、MinkowskiEngine）与离线强化学习算法（如CQL、IQL）的结合，以提升物体级泛化性能。此外，ManiSkill的多轨道评估协议（无交互、无外部标注、无限制）启发了后续工作在不同数据与交互约束下的算法设计，例如利用数据增强或自监督学习来弥补演示数量的不足。这些衍生工作共同推动了可泛化操作技能从仿真验证向真实机器人应用的迈进。

数据集最近研究

最新研究方向

在机器人操作领域，ManiSkill数据集聚焦于从三维视觉输入中学习可泛化的物理操作技能，其前沿研究方向紧密围绕物体级泛化能力。该数据集通过提供大规模高质量演示轨迹（约36,000条成功轨迹及150万帧点云/RGB-D数据），支持从演示中学习（LfD）方法，如行为克隆和离线强化学习。当前研究热点包括利用三维深度学习架构（如PointNet+Transformer）处理复杂拓扑与几何变化，并在多任务场景（如开门、推椅、移桶）中验证算法泛化性。ManiSkill的推出推动了机器人操作与计算机视觉、强化学习的交叉融合，其多轨道评估协议（无交互、无外部标注、无限制）为算法公平比较提供了标准化平台，对实现家庭服务机器人等现实应用具有重要影响。

相关研究论文

• ManiSkill: Generalizable Manipulation Skill Benchmark with Large-Scale Demonstrations

  加州大学圣地亚哥分校 · 2021年