ARLBench

ARLBench是由汉诺威莱布尼茨大学等机构创建的一个用于强化学习中超参数优化的基准数据集。该数据集包含超过100,000条记录，涵盖了多种算法和环境组合，旨在为自动化强化学习（AutoRL）方法提供高效的评估平台。数据集的创建过程涉及对多种环境进行大规模研究，以生成超参数配置的性能数据。ARLBench主要应用于自动化机器学习领域，旨在解决强化学习中超参数优化的高效性和通用性问题。

原始信息汇总

ARLBench 数据集概述

数据集简介

ARLBench 是一个用于强化学习中超参数优化（HPO）的基准测试数据集。该数据集旨在快速评估 HPO 方法，并在多个环境中进行代表性测试。

数据集特点

• 基于 JAX 的 DQN、PPO 和 SAC 实现：提供高效的实现。
• 兼容多种环境域：通过 Gymnax、XLand 和 EnvPool 实现与多种环境的兼容。
• 代表性的 HPO 设置基准集：包含多种 HPO 设置，用于全面评估。

数据集安装

• 通过 PyPI 安装： bash pip install arlbench

  若需使用 envpool 环境，请使用： bash pip install arlbench[envpool]

• 从源代码安装： bash git clone [e-mail]:automl/arlbench.git cd arlbench make install

  若需使用 envpool 功能，请使用： bash make install-envpool

快速开始

• 使用命令行接口： bash python run_arlbench.py

  通过 Hydra 命令行语法可以覆盖配置，例如切换到 PPO： bash python run_arlbench.py algorithm=ppo

• 使用 AutoRL 环境： python from arlbench import AutoRLEnv

  env = AutoRLEnv() obs, info = env.reset() action = env.config_space.sample_configuration() obs, objectives, term, trunc, info = env.step(action)

引用

若在工作中使用 ARLBench，请引用： bibtex @misc{beckdierkes24, author = {J. Becktepe and J. Dierkes and C. Benjamins and D. Salinas and A. Mohan and R. Rajan and F. Hutter and H. Hoos and M. Lindauer and T. Eimer}, title = {ARLBench}, year = {2024}, url = {https://github.com/automl/arlbench}, }

搜集汇总

数据集介绍

构建方式

ARLBench数据集的构建基于对多种强化学习（RL）算法和环境组合的大规模研究。研究团队首先实现了三种流行的RL算法（DQN、PPO和SAC）的高效且可配置的版本，并在不同的环境域（如ALE游戏、经典控制和Box2D模拟、Brax机器人步行者以及基于网格的探索）中进行了广泛实验，以生成这些算法的超参数景观。基于这些实验结果，研究团队采用了一种基于Aitchison等人的方法，选择了一组能够代表整个RL任务空间的环境子集，从而显著减少了评估HPO方法所需的计算资源。

特点

ARLBench数据集的主要特点在于其高效性和灵活性。通过选择具有高预测能力的环境子集，ARLBench能够在仅使用937 GPU小时的情况下评估32次完整的RL训练，相比传统的StableBaselines3（SB3）框架，速度提升了近10倍。此外，ARLBench支持多种HPO方法，包括静态和动态配置，以及多目标和多保真度优化，使其成为研究自动化RL（AutoRL）的理想基准。

使用方法

ARLBench数据集的使用方法包括但不限于：评估和比较不同的HPO方法在RL任务上的性能；研究超参数优化在不同RL算法和环境组合中的行为；以及作为新HPO方法开发的起点。研究者可以通过访问GitHub仓库获取数据集，并使用提供的代码和说明进行实验复现。数据集的灵活性和高效性使其适用于各种计算资源的实验，从个人工作站到大型计算集群。

背景与挑战

背景概述

ARLBench数据集由Leibniz University Hannover、RWTH Aachen University、University of Freiburg、ELLIS Institute Tübingen和L3S Research Center的研究人员共同开发，旨在解决强化学习（RL）中超参数优化（HPO）的挑战。该数据集创建于2024年，专注于提供一个高效且灵活的基准，用于比较不同的HPO方法。ARLBench通过选择代表性的HPO任务子集，涵盖了多种算法和环境组合，显著减少了计算资源的消耗，使得更多研究者能够在RL的HPO领域进行研究。该数据集的发布为AutoRL研究提供了坚实的基础，促进了该领域的发展和应用。

当前挑战

ARLBench数据集面临的挑战主要集中在两个方面。首先，RL领域中存在大量的算法和环境，每个都有其独特的挑战，如图像观测的处理和稀疏奖励信号的优化。这使得选择具有代表性的任务变得复杂，且难以确定哪些环境与算法组合最能反映当前RL研究的范围。其次，构建ARLBench过程中遇到的计算资源限制也是一个重大挑战。尽管通过选择代表性子集减少了计算需求，但仍需大量的GPU时间来评估HPO预算，这限制了研究的广泛性和深入性。此外，如何在不显著增加计算成本的情况下，确保子集选择的代表性和统计显著性，也是当前面临的重要问题。

常用场景

经典使用场景

ARLBench数据集的经典使用场景在于评估和比较强化学习中超参数优化（HPO）方法的性能。通过提供一个高效且灵活的基准，ARLBench允许研究者在不同的HPO方法之间进行广泛的比较，同时考虑到计算资源的效率。该数据集特别适用于那些希望在低计算资源环境下研究HPO在RL中应用的研究者，因为它通过选择代表性的HPO任务子集，显著减少了所需的计算量。

解决学术问题

ARLBench数据集解决了在强化学习中超参数优化方法的评估和比较问题。由于开发和评估这些方法既耗时又耗资源，传统的评估方法往往局限于单一领域或算法，导致难以进行广泛的比较和泛化性的研究。ARLBench通过提供一个跨多种算法和环境的代表性子集，使得研究者能够在更广泛的范围内评估HPO方法的性能，从而推动了该领域的发展。

衍生相关工作

ARLBench数据集的发布催生了一系列相关的经典工作，特别是在自动化机器学习（AutoML）和自动化强化学习（AutoRL）领域。许多研究者利用ARLBench进行实验，探索新的HPO方法和策略，从而推动了这些领域的技术进步。此外，ARLBench的高效性和灵活性也激发了其他研究者开发类似的基准工具，以支持更广泛的机器学习和优化研究。