HPO-B

HPO-B是一个大规模可重现的基准数据集，用于黑盒超参数优化（HPO），由弗莱堡大学等机构创建。该数据集包含从OpenML存储库中收集的176个搜索空间和196个数据集，总计约640万个超参数评估。HPO-B旨在解决HPO领域中由于计算资源需求巨大而未解决的核心问题，通过提供一个公平的比较平台，促进HPO算法的快速微调和转移学习。数据集的创建过程包括从OpenML下载实验数据，进行数据清洗、预处理和组织，确保数据集的可重现性和准确性。HPO-B的应用领域主要集中在机器学习社区，特别是在超参数优化和自动机器学习（AutoML）领域，旨在通过提供一个标准化的基准，加速HPO方法的研究和开发。HPO-B is a large-scale reproducible benchmark dataset for black-box hyperparameter optimization (HPO), developed by institutions including the University of Freiburg. This dataset encompasses 176 search spaces and 196 datasets collected from the OpenML repository, totaling approximately 6.4 million hyperparameter evaluations. HPO-B aims to address the core unresolved challenges in the HPO domain stemming from the substantial computational resource requirements, by offering a fair comparison platform to promote rapid fine-tuning and transfer learning of HPO algorithms. The dataset creation process includes downloading experimental data from OpenML, followed by data cleaning, preprocessing and organization to ensure the reproducibility and accuracy of the dataset. The application scenarios of HPO-B are mainly focused on the machine learning community, especially in the fields of hyperparameter optimization and automated machine learning (AutoML), with the goal of accelerating the research and development of HPO methods by providing a standardized benchmark.

搜集汇总

数据集介绍

构建方式

在超参数优化领域，构建一个统一且可复现的基准数据集对于推动算法研究至关重要。HPO-B数据集通过系统性地整合OpenML平台上的公开实验数据，构建了一个大规模元数据集集合。其构建过程首先从OpenML中提取了截至2021年4月15日所有带有“Verified_Supervised_Classification”标签的运行记录，涵盖了176个不同的搜索空间（即算法）在196个数据集上的评估结果。随后，研究团队对原始数据进行了详尽的清洗与预处理，包括解析复杂的超参数字符串、去除重复评估、处理缺失值（通过零值填充并添加缺失指示符）、对分类变量进行独热编码，以及对数值型超参数进行手动选择的对数变换与归一化至[0,1]区间。最终，形成了包含总计约640万次超参数评估的HPO-B-v1基准。为了提升实用性，进一步衍生出HPO-B-v2（聚焦于16个高频搜索空间）和HPO-B-v3（为迁移学习HPO提供了预定义的元训练、元验证和元测试任务划分，并包含五组不同的初始配置种子）。

特点

HPO-B数据集的核心特征在于其规模性、多样性与可复现性设计。该数据集汇集了来自OpenML社区的大规模实验记录，总计包含640万次超参数评估，覆盖了诸如SVM、随机森林、XGBoost、GLMNet等多种经典机器学习算法在不同数据集上的性能表现，构成了迄今为止该领域最全面的公开基准之一。其多样性体现在搜索空间维度（超参数数量从1到53不等）、评估的数据集数量以及评估结果的稀疏性结构上。尤为突出的是，HPO-B专门针对当前研究中的可复现性瓶颈，提供了结构化的数据版本：HPO-B-v3明确规定了用于迁移学习研究的任务划分（80%数据集用于元训练，10%用于元验证，10%用于元测试），并提供了多组初始配置种子以减少随机性影响。此外，数据集还额外提供了一个基于XGBoost回归模型构建的连续版本，以支持需要在连续空间中进行搜索的HPO方法。所有数据均以规范的JSON格式提供，便于访问和使用。

使用方法

HPO-B数据集旨在为黑盒超参数优化算法的公平比较提供一个标准化平台。对于非迁移的黑盒HPO方法，推荐使用HPO-B-v2版本。评估时，应在所有任务上运行算法，并使用提供的五组初始种子，报告从第1轮到第100轮（排除种子轮）的归一化遗憾值和平均排名曲线，建议同时展示聚合结果以及按搜索空间细分的结果，并使用临界差异图来评估不同方法在25、50、100轮时的统计显著性。对于迁移学习的黑盒HPO方法，则应使用HPO-B-v3版本。方法需在提供的元训练任务上进行元学习或迁移学习，在元验证任务上调整超超参数，并在元测试任务上进行最终评估。由于基准未包含搜索空间中所有可能配置的预计算响应，研究者需要将候选配置限制在元测试任务已有的预计算配置集合内，或者使用其连续变体。同样，需要报告归一化遗憾、平均排名及临界差异图。为了确保可比性，即使方法提出了新的初始化策略，也建议额外展示使用基准所提供初始配置的结果。

背景与挑战

背景概述

HPO-B数据集由弗莱堡大学、希尔德斯海姆大学及亚马逊研究团队于2021年联合创建，旨在解决超参数优化领域长期存在的算法评估标准缺失问题。该数据集基于OpenML平台构建，整合了176个搜索空间、196个数据集及640万次超参数评估记录，为黑盒超参数优化方法提供了首个大规模可复现基准。其核心研究聚焦于通过标准化元数据集划分与评估协议，促进迁移学习与非迁移学习场景下HPO算法的公平比较，显著提升了超参数优化研究的可复现性与方法迭代效率。

当前挑战

HPO-B针对黑盒超参数优化领域的两类核心挑战提出系统解决方案：其一，传统研究因缺乏统一评估基准，导致算法在异构元数据集上的性能对比困难，且迁移学习方法的泛化能力难以验证；其二，数据构建过程中需克服原始OpenML数据的稀疏性与异质性，包括超参数配置的解析复杂性、缺失值处理、类别变量编码以及跨搜索空间的评估规模均衡化，同时需设计兼顾离散与连续优化场景的基准变体以拓展方法适用性。

常用场景

经典使用场景

在超参数优化领域，HPO-B数据集作为大规模可复现基准，其经典使用场景聚焦于黑盒超参数优化算法的系统性评估与比较。该数据集通过整合来自OpenML平台的176个搜索空间和196个数据集，构建了包含640万次超参数评估的元数据集集合，为研究者提供了标准化的实验环境。在非传递学习场景中，HPO-B-v2版本支持对贝叶斯优化、随机森林代理模型等传统方法进行性能验证；而在传递学习场景中，HPO-B-v3版本通过预定义的元训练、元验证和元测试划分，使得FSBO、RGPE等跨任务知识迁移算法能够在统一框架下进行公平比较。

衍生相关工作

HPO-B数据集的发布催生了系列前沿研究，其中最具代表性的衍生工作包括基于深度核高斯过程的少样本优化框架FSBO，该研究利用数据集的元训练任务进行代理模型预训练，显著提升了小样本场景下的优化效率。同时，加权代理模型集成方法RGPE与TST-R通过跨任务相似性度量，在数据集划分的验证框架下实现了知识迁移的理论突破。此外，ABLR等共享嵌入学习方法与GCP等基于高斯Copula的分布映射模型，均在HPO-B构建的基准上验证了其在新颖搜索空间上的扩展能力。

数据集最近研究

最新研究方向

在自动化机器学习领域，超参数优化（HPO）作为核心挑战，其研究正逐步从传统黑盒方法转向基于元学习和迁移学习的范式。HPO-B基准的推出，为这一转变提供了关键支撑，其大规模、可复现的特性正推动着前沿研究聚焦于跨任务知识迁移与异构搜索空间的泛化能力。当前热点集中于开发能够有效利用历史评估数据的深度核高斯过程、贝叶斯神经网络等先进代理模型，以及探索在少量初始配置下快速适应新数据集的少样本优化策略。这些进展不仅显著提升了超参数优化的样本效率，还为构建更智能、自适应的AutoML系统奠定了坚实基础，对推动机器学习模型部署的自动化与标准化具有深远影响。

相关研究论文

• HPO-B: A Large-Scale Reproducible Benchmark for Black-Box HPO based on OpenML

  弗莱堡大学 · 2021年