MOMALAND

MOMALAND是由卢森堡大学等机构创建的多目标多智能体强化学习（MOMARL）的标准化环境集合，旨在为MOMARL领域提供全面的基准测试。该数据集包含超过10个多样化的环境，涉及不同数量的智能体、状态表示、奖励结构和效用考虑。数据集的创建过程遵循开放源代码原则，并鼓励社区贡献。MOMALAND主要应用于智能交通系统、电力网格和供应链管理等领域的复杂决策过程，旨在解决多目标和多智能体协调决策的问题。MOMALAND is a standardized suite of multi-objective multi-agent reinforcement learning (MOMARL) environments developed by institutions including the University of Luxembourg, aiming to provide comprehensive benchmark resources for the MOMARL field. This dataset includes over ten diverse environments covering varying numbers of agents, state representations, reward structures, and utility considerations. The development of MOMALAND adheres to open-source principles, and community contributions are highly encouraged. Primarily applied to complex decision-making processes in fields such as intelligent transportation systems, power grids, and supply chain management, MOMALAND is designed to address multi-objective and multi-agent coordinated decision-making problems.

原始信息汇总

MOMAland 数据集概述

简介

MOMAland 是一个开源的 Python 库，用于开发和比较多目标多智能体强化学习算法。它提供了一个标准的 API 来实现学习算法和环境之间的通信，以及一组符合该 API 标准的环境。这些环境遵循 PettingZoo APIs，但返回的是向量化奖励（numpy 数组）而不是标量值。

环境

MOMAland 包含来自多目标多智能体强化学习文献中的环境，以及多目标版本的经典环境，如 SISL 或 Butterfly。完整的环境列表可在 这里 找到。

安装

安装 MOMAland 的命令如下： bash pip install momaland

此外，还可以安装特定功能的依赖项：

• pip install "momaland[testing]" 用于 API 测试的依赖项。
• pip install "momaland[learning]" 用于提供的学习算法的依赖项。
• pip install "momaland[all]" 用于所有组件的所有依赖项。

API

MOMAland API 类似于 PettingZoo，将环境建模为简单的 Python env 类。以下是一个使用 "momultiwalker_stability_v0" 环境的示例： python from momaland.envs.momultiwalker_stability import momultiwalker_stability_v0 as _env import numpy as np

env = _env.env(render_mode="human") env.reset(seed=42) for agent in env.agent_iter(): observation, vec_reward, termination, truncation, info = env.last() if termination or truncation: action = None else: action = env.action_space(agent).sample() env.step(action) env.close()

学习算法

MOMAland 提供了一系列兼容其环境的学习算法，这些算法实现于 learning/ 目录中。当前实现的学习算法包括：

• MOMAPPO (OLS) continuous, discrete
• Scalarized IQL
• Centralization wrapper
• Linearization wrapper

环境版本控制

MOMAland 对环境进行严格版本控制，以确保可重复性。所有环境名称后缀为 "_v0"。当环境发生变化可能影响学习结果时，版本号会增加以防止混淆。

引用

如果您的研究中使用了 MOMAland，请引用以下内容： bibtex @misc{felten2024momaland, title={MOMAland: A Set of Benchmarks for Multi-Objective Multi-Agent Reinforcement Learning}, author={Florian Felten and Umut Ucak and Hicham Azmani and Gao Peng and Willem Röpke and Hendrik Baier and Patrick Mannion and Diederik M. Roijers and Jordan K. Terry and El-Ghazali Talbi and Grégoire Danoy and Ann Nowé and Roxana Rădulescu}, year={2024}, eprint={2407.16312}, archivePrefix={arXiv}, primaryClass={cs.MA}, url={https://arxiv.org/abs/2407.16312}, }

搜集汇总

数据集介绍

构建方式

MOMALAND 数据集的构建旨在为多目标多智能体强化学习（MOMARL）提供标准化的基准环境。该数据集包含超过 10 个多样化的环境，这些环境在智能体数量、状态表示、奖励结构以及效用考虑方面各不相同。MOMALAND 提供了两种 API，分别适用于回合制和同时行动的场景，以方便研究者进行实验和算法评估。此外，MOMALAND 还包括一些基线算法，以供未来研究使用。

使用方法

使用 MOMALAND 数据集时，研究者可以通过两种 API 之一与数据集交互。并行 API 允许所有智能体同时行动，适用于同时决策的场景；而代理-环境循环（AEC）API 则适用于回合制场景。MOMALAND 还提供了多种工具和包装器，用于修改环境和奖励结构，以及将多目标环境转换为单目标环境，以便使用现有的多智能体强化学习算法。研究者可以使用 MOMALAND 提供的基线算法作为起点，并根据自己的研究需求进行修改和扩展。

背景与挑战

背景概述

在许多具有重大社会意义的领域，如智能电网管理、交通系统控制或供应链协调中，复杂的决策过程需要平衡多个相互冲突的目标并协调多个独立决策者（DMs）的行动。为了形式化和解决此类任务，多目标多智能体强化学习（MOMARL）应运而生。MOMARL扩展了强化学习（RL），使其能够处理具有多个智能体的问题，每个智能体在其学习过程中都需要考虑多个目标。在强化学习研究中，基准对于促进进步、评估和可重复性至关重要。MOMALAND是一个标准化的多目标多智能体强化学习环境集合，旨在为这个新兴领域提供全面的基准测试，提供超过10个多样化的环境，这些环境在智能体数量、状态表示、奖励结构和效用考虑因素方面各不相同。MOMALAND还包括能够在这些设置中学习策略的算法，为未来的研究提供强大的基准。

当前挑战

MOMALAND面临的挑战包括解决领域问题的挑战，例如管理交通系统、电网或供应链等涉及多个相互冲突的目标和协调多个独立决策者行动的复杂决策过程。构建过程中遇到的挑战包括创建多样化的环境，这些环境在智能体数量、状态表示、奖励结构和效用考虑因素方面各不相同，以及提供能够学习策略的算法。此外，MOMALAND还面临着没有已知解决方案概念的环境挑战，需要解决开放的研究问题才能得出适当的解决方案。

常用场景

经典使用场景

MOMALAND数据集是专为多目标多智能体强化学习（MOMARL）领域设计的基准测试环境集合。该数据集提供了超过10个多样化的环境，这些环境在智能体数量、状态表示、奖励结构和效用考虑方面各不相同。MOMALAND的经典使用场景包括：1）为MOMARL算法提供一个标准化的测试平台，以便研究人员可以比较和评估他们的算法在不同环境下的性能；2）为MOMARL算法提供一个开放源代码的框架，以便研究人员可以在此基础上进行扩展和改进；3）为MOMARL算法提供一个公开可用的数据集，以便研究人员可以复现和验证他们的实验结果。

解决学术问题

MOMALAND数据集解决了多目标多智能体决策过程中的基准测试问题。在MOMARL领域，由于缺乏标准化的测试环境，研究人员往往需要花费大量时间重新实现测试环境，这导致了实验结果的可重复性和可比性较差。MOMALAND提供了一个标准化的测试平台，使得研究人员可以更容易地比较和评估他们的算法，从而推动了MOMARL领域的研究进展。

实际应用

MOMALAND数据集的实际应用场景包括：1）智能交通系统管理，例如优化交通信号控制，以减少交通拥堵并提高交通效率；2）电力系统管理，例如优化电力调度，以平衡电力供应和需求，并降低电力成本；3）供应链管理，例如优化库存管理，以提高供应链的效率和响应能力。

数据集最近研究

最新研究方向

MOMALAND 数据集的引入为多目标多智能体强化学习领域提供了一个标准化的基准测试环境。这一领域涉及复杂决策过程，需要平衡多个相互冲突的目标，并协调多个独立决策者的行动。MOMALAND 的出现填补了现有强化学习基准测试环境在多目标多智能体强化学习（MOMARL）领域的空白，为研究人员提供了一个包含超过 10 个不同环境的平台，这些环境在智能体数量、状态表示、奖励结构和效用考虑因素方面各不相同。MOMALAND 还包括能够在这些设置中学习策略的算法，为未来的研究提供了强大的基线。该数据集的最新研究方向主要集中在以下几个方面：1. 解决 MOMARL 问题的算法开发，特别是能够在个体奖励设置中识别 Pareto-Nash 集的算法；2. 效用建模和偏好获取，包括交互式 MOMARL，其中智能体必须同时学习其用户的偏好以及如何在环境中最优地行动；3. 开发新的 MOMARL 算法和环境，以解决现实世界中的复杂问题。

相关研究论文

• MOMAland: A Set of Benchmarks for Multi-Objective Multi-Agent Reinforcement Learning

  卢森堡大学 · 2024年