HPOBench

arXiv2022-10-06 更新2024-07-30 收录

下载链接：

https://github.com/automl/HPOBench

下载链接

链接失效反馈

官方服务：

资源简介：

HPOBench是一个包含7个现有和5个新基准系列的数据集，总计超过100个多保真度基准问题。该数据集允许以可重复的方式运行这些可扩展的多保真度HPO基准，并通过容器隔离和打包各个基准。它还提供了代理和表格基准，用于计算上可承受但统计上可靠的评估。

HPOBench is a dataset comprising 7 existing and 5 novel benchmark suites, totaling over 100 multi-fidelity benchmark problems. This dataset enables reproducible execution of these scalable multi-fidelity HPO benchmarks, with individual benchmarks isolated and packaged via containers. It also provides surrogate and tabular benchmarks for computationally affordable yet statistically reliable evaluations.

创建时间：

2021-09-14

原始信息汇总

HPOBench 数据集概述

数据集描述

HPOBench 是一个用于提供（多保真度）超参数优化基准的库，重点关注可重复性。

数据集状态

Master 分支状态：
- 构建状态：链接
- 代码覆盖率：链接
Development 分支状态：
- 构建状态：链接
- 代码覆盖率：链接

数据集使用示例

评估随机配置

python from hpobench.container.benchmarks.nas.tabular_benchmarks import SliceLocalizationBenchmark b = SliceLocalizationBenchmark(rng=1) config = b.get_configuration_space(seed=1).sample_configuration() result_dict = b.objective_function(configuration=config, fidelity={"budget": 100}, rng=1)

查询无保真度

获取搜索空间和保真度空间信息

python from hpobench.container.benchmarks.nas.tabular_benchmarks import SliceLocalizationBenchmark b = SliceLocalizationBenchmark(task_id=167149, rng=1) cs = b.get_configuration_space(seed=1) fs = b.get_fidelity_space(seed=1) meta = b.get_meta_information()

安装指南

安装步骤

bash git clone https://github.com/automl/HPOBench.git cd HPOBench pip install .

依赖项

Singularity (版本 3.6)：安装指南
ConfigSpace
scipy
numpy

容器化基准

运行本地基准

python from hpobench.benchmarks.ml.xgboost_benchmark_old import XGBoostBenchmark b = XGBoostBenchmark(task_id=167149) config = b.get_configuration_space(seed=1).sample_configuration() result_dict = b.objective_function(configuration=config, fidelity={"n_estimators": 128, "dataset_fraction": 0.5}, rng=1)

本地构建容器

bash cd hpobench/container/recipes/ml sudo singularity build xgboost_benchmark Singularity.XGBoostBenchmark

使用本地容器

python from hpobench.container.benchmarks.ml.xgboost_benchmark import XGBoostBenchmark b = XGBoostBenchmark(task_id=167149, container_name="xgboost_benchmark", container_source=./) config = b.get_configuration_space(seed=1).sample_configuration() result_dict = b.objective_function(config, fidelity={"n_estimators": 128, "dataset_fraction": 0.5})

配置文件

hpobenchrc 文件：存储在 $XDG_CONFIG_HOME 或 ~/.config/hpobench
Unix 套接字：存储在 $TEMP_DIR 或 /tmp

数据存储位置

HPOBench 数据：
- $XDG_CONFIG_HOME
- $XDG_CACHE_HOME
- $XDG_DATA_HOME
OpenML 数据：~/.openml/
Singularity 容器缓存：singularity cache clean

引用

bibtex @inproceedings{ eggensperger2021hpobench, title={{HPOB}ench: A Collection of Reproducible Multi-Fidelity Benchmark Problems for {HPO}}, author={Katharina Eggensperger and Philipp M{"u}ller and Neeratyoy Mallik and Matthias Feurer and Rene Sass and Aaron Klein and Noor Awad and Marius Lindauer and Frank Hutter}, booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)}, year={2021}, url={https://openreview.net/forum?id=1k4rJYEwda-} }

搜集汇总

数据集介绍

构建方式

在超参数优化领域，构建一个具有多样性和可复现性的基准测试集是推动算法发展的关键。HPOBench通过整合现有文献中的7个基准家族，并新增5个家族，形成了包含超过100个多保真度优化问题的综合集合。每个基准问题均被封装在独立的容器中，确保了依赖隔离与长期可复现性。此外，数据集还提供了基于代理模型和表格化的基准版本，使得在保持统计可靠性的同时大幅降低了计算开销。这种容器化与统一接口的设计，有效解决了传统基准测试中常见的环境冲突与维护难题。

特点

HPOBench的突出特点在于其全面的多保真度支持与高度的可扩展性。该数据集不仅涵盖了传统的超参数优化问题，还包含了神经架构搜索等复杂场景，并首次提供了多目标优化和跨数据集迁移学习的基准。每个基准家族均包含多个数据集，且支持多达两个保真度维度，为研究多保真度多目标优化等前沿方向提供了丰富素材。容器化技术保障了基准的长期稳定性，而表格化与代理模型版本则使得大规模实验能够在有限计算资源下高效进行。

使用方法

使用HPOBench时，研究者可通过统一的Python接口轻松调用各类基准。每个基准容器提供了标准化的配置空间、保真度定义和评估函数，支持黑盒优化与多保真度优化的对比实验。用户可根据需要选择原始基准、表格基准或代理基准，其中表格基准通过预计算的性能查找表实现瞬时评估，代理基准则通过机器学习模型预测性能。数据集兼容多种主流优化工具，并提供了详尽的实验示例与结果分析框架，便于进行算法比较与方法验证。

背景与挑战

背景概述

超参数优化作为机器学习模型性能提升的核心环节，其算法与工具的快速发展催生了对标准化、多样化且计算高效基准测试集的迫切需求。HPOBench数据集于2021年由弗莱堡大学、汉诺威莱布尼茨大学、亚马逊及博世人工智能中心的研究团队联合创建，旨在填补多保真度超参数优化领域缺乏统一、可复现基准的空白。该数据集整合了7个现有及5个新基准家族，涵盖超过100个多保真度优化问题，并通过容器化技术确保实验的长期可复现性。HPOBench的推出为超参数优化方法的公平比较与迭代创新提供了关键基础设施，显著推动了自动化机器学习领域的实证研究进展。

当前挑战

HPOBench致力于解决多保真度超参数优化领域缺乏标准化评估体系的根本挑战，其核心在于如何构建兼具多样性、真实性与计算可行性的基准测试集。在构建过程中，研究团队面临多重技术难题：一是依赖冲突与长期维护问题，不同基准的软件依赖随时间推移易产生兼容性冲突，导致历史基准失效；二是计算成本控制，原始基准评估耗时巨大，需通过代理模型与表格化基准实现高效评估；三是接口与环境的统一，需将异构的现有基准封装为标准化容器，并提供一致的应用编程接口。这些挑战的克服使得HPOBench能够支持大规模、可复现的超参数优化算法比较，为领域研究提供了坚实的实验基础。

常用场景

经典使用场景

在超参数优化领域，HPOBench数据集为多保真度优化方法提供了标准化的评估平台。该数据集整合了12个基准家族，涵盖超过100个多保真度优化问题，通过容器化技术确保实验的可复现性。研究者可利用其统一的接口，高效对比不同优化算法在神经网络架构搜索、贝叶斯网络调优等任务上的性能，尤其适用于评估算法在有限计算资源下的表现。

衍生相关工作

HPOBench催生了多项超参数优化领域的经典研究。基于其基准框架，学者们开发了如DEHB、BOHB等高效的多保真度优化算法，并在NeurIPS等顶级会议上发表了系统性比较研究。该数据集还启发了跨数据集迁移学习、多目标优化等延伸方向，为AutoML工具链的完善提供了实证基础。

数据集最近研究