ManiSkill2

ManiSkill2是由加州大学圣地亚哥分校和清华大学合作开发的下一代操作技能统一基准。该数据集包含超过2000个对象模型和400多万个演示帧，覆盖固定/移动基座、单/双臂、刚性/软体操作任务，并支持2D/3D输入数据。ManiSkill2定义了统一的接口和评估协议，支持包括经典感知-规划-行动、强化学习、模仿学习在内的广泛算法，以及点云、RGBD等视觉观察模式和多种控制器。此外，它还实现了渲染服务器基础设施，允许所有环境共享渲染资源，显著减少内存使用。数据集旨在推动可泛化的操作技能研究，解决研究者在利用基准进行操作技能研究时遇到的痛点。

ManiSkill2 is a unified next-generation benchmark for manipulation skills, jointly developed by the University of California, San Diego and Tsinghua University. This dataset contains over 2000 object models and more than 4 million demonstration frames, covering fixed/mobile bases, single/dual-arm, rigid/soft-body manipulation tasks, and supports 2D/3D input data. ManiSkill2 defines a unified interface and evaluation protocols, supporting a wide range of algorithms including classical perception-planning-action pipelines, reinforcement learning, and imitation learning, as well as visual observation modalities such as point clouds, RGBD, and various controllers. Furthermore, it has implemented a rendering server infrastructure that enables all environments to share rendering resources, significantly reducing memory footprint. This benchmark aims to advance research on generalizable manipulation skills, addressing the pain points encountered by researchers when carrying out manipulation skill research using this benchmark.

搜集汇总

数据集介绍

构建方式

ManiSkill2 数据集的构建方式主要围绕通用和可泛化操作技能的评估与学习。该数据集包含了 20 个操作任务家族，拥有超过 2000 个物体模型和 400 多万个演示帧，涵盖了固定/移动基础、单/双臂以及刚性/软体操作任务，并以 2D/3D 输入数据的形式通过全动态引擎进行模拟。数据集定义了一个统一的接口和评估协议，支持广泛的算法（例如经典的感觉-计划-行动、强化学习、模仿学习），视觉观测（点云、RGBD）和控制器（例如，动作类型和参数化）。此外，它还支持快速视觉输入学习算法，使得基于 CNN 的策略可以在常规工作站上的 1 个 GPU 和 16 个进程上以大约 2000 FPS 的速度收集样本。它还实现了一个渲染服务器基础设施，允许所有环境共享渲染资源，从而显著减少内存使用。

特点

ManiSkill2 数据集的特点在于其统一性、高效性和可访问性。它提供了一个统一的系统，涵盖了精心策划的操作任务（例如，固定/移动基础、单/双臂、刚性/软体），并支持多种类型的操作任务。数据集具有高度真实的软体环境，支持实时模拟和渲染，以及灵活的多控制器支持和演示动作空间转换功能。此外，它还具有高性能的物理模拟和渲染系统，可以支持视觉 RL 代理的训练，以及支持真实世界部署的模拟与真实世界交互的能力。

使用方法

ManiSkill2 数据集的使用方法主要分为三个步骤。首先，用户需要选择一个合适的控制器，例如关节位置控制器或末端执行器位置控制器，并将其应用于机器人。然后，用户需要选择一个视觉观测模式，例如点云或 RGBD，并将其作为输入传递给策略网络。最后，用户需要运行策略网络并观察机器人的动作，以评估其在特定任务上的表现。数据集还提供了一个基于云的评价系统，允许用户提交他们的解决方案并进行公开和公平的比较。

背景与挑战

背景概述

在机器人操作技能领域，可泛化的操作技能是指能够在各种复杂和长时程的日常任务中灵活组合使用的技能，这是具身人工智能（Embodied AI）领域的关键组成部分。然而，现有的基准测试集，通常由一系列可模拟的环境组成，由于缺乏物体级别的拓扑和几何变化、不是基于完全动态模拟，或者缺乏对多种类型操作任务的原生支持，因此不足以推动前沿研究。为了解决这些问题，Jiayuan Gu等人于2023年发布了ManiSkill2，这是SAPIEN ManiSkill基准测试集的下一代版本，旨在解决研究人员在泛化操作技能基准测试中遇到的痛点。ManiSkill2包含了20个操作任务系列，超过2000个物体模型和400多万个演示帧，涵盖了固定/移动底座、单/双臂、刚体/软体操作任务，以及由完全动态引擎模拟的2D/3D输入数据。它定义了一个统一的接口和评估协议，以支持广泛的算法（如经典的感知-计划-行动、强化学习、模仿学习）、视觉观察（点云、RGBD）和控制器（如动作类型和参数化）。此外，它还支持快速视觉输入学习算法，使得基于CNN的策略可以在普通工作站上以约2000 FPS的速度收集样本。它实现了一个渲染服务器基础设施，以允许所有环境共享渲染资源，从而显著减少内存使用。所有代码（模拟器、环境和基线）都已开源，并举办了一个面向跨学科研究人员的在线挑战赛。

当前挑战

ManiSkill2面临着一系列挑战。首先，在创建过程中，如何构建真实模拟环境并包含多样化的资产是一个重大挑战。其次，如何支持多种类型的操作任务，如固定/移动底座、单/双臂、刚体/软体操作任务，以及如何实现这些任务的2D/3D输入数据模拟，也是一个挑战。此外，如何定义一个统一的接口和评估协议，以支持广泛的算法（如感知-计划-行动、强化学习、模仿学习）的评估，也是一个挑战。最后，如何实现一个渲染服务器基础设施，以允许所有环境共享渲染资源，从而显著减少内存使用，也是一个挑战。

常用场景

经典使用场景

ManiSkill2数据集广泛应用于机器学习和机器人技术领域，特别是在模拟和评估机器人操作技能方面。它提供了一个统一的平台，用于测试和比较各种算法在通用和可泛化操作技能上的性能。数据集包含超过2000个对象模型和400万个演示帧，涵盖了固定/移动基座、单/双臂、刚性/软体操作任务，以及2D/3D输入数据。这些特点使得ManiSkill2成为研究机器人操作技能的理想工具。

解决学术问题

ManiSkill2数据集解决了现有基准测试中存在的几个关键问题。首先，它解决了现有基准测试中缺乏对象级拓扑和几何变化的问题。其次，它基于完全动态模拟，克服了之前模拟环境的不足。此外，ManiSkill2还提供了对多种操作任务的本地支持，包括固定/移动基座、单/双臂、刚性/软体操作任务。这些改进使得ManiSkill2能够更好地支持可泛化操作技能的研究，并推动相关领域的学术进步。

衍生相关工作

ManiSkill2数据集的发布催生了许多相关的研究工作。例如，研究人员利用该数据集开发了新的感知算法，用于预测机器人抓取姿势，并设计了新的运动规划算法，以实现更精确的控制。此外，ManiSkill2还促进了模仿学习和强化学习算法的发展，这些算法可以训练机器人执行各种操作任务。这些研究成果不仅推动了机器人操作技能的研究，而且还为实际应用中的机器人开发提供了新的思路和方法。