ZEROSHOTOPT

ZEROSHOTOPT数据集是一个为连续黑盒优化任务而设计的预训练模型，通过在12种贝叶斯优化变体的大规模优化轨迹上使用离线强化学习进行训练。该数据集包含了约2000万个合成的高斯过程函数，旨在帮助模型学习可迁移的优化策略。数据集的创建过程涉及使用高斯过程生成具有多样景观的合成函数，并从12种贝叶斯优化变体中收集大规模的优化轨迹。这些轨迹用于训练一个可扩展的transformer模型，该模型能够在2D到20D的维度范围内进行高效的黑盒优化。ZEROSHOTOPT数据集旨在解决在严格评估预算下进行黑盒优化的问题，为未来的扩展和改进提供了一个可重用的基础。The ZEROSHOTOPT dataset is a pretrained model designed for continuous black-box optimization tasks, trained via offline reinforcement learning on large-scale optimization trajectories of 12 Bayesian optimization variants. This dataset contains approximately 20 million synthetic Gaussian process functions, aiming to help models learn transferable optimization strategies. The creation of the dataset involves generating synthetic functions with diverse landscapes using Gaussian processes, and collecting large-scale optimization trajectories from 12 Bayesian optimization variants. These trajectories are used to train a scalable Transformer model that can perform efficient black-box optimization within the dimensionality range of 2D to 20D. The ZEROSHOTOPT dataset is intended to address the problem of black-box optimization under strict evaluation budgets, providing a reusable foundation for future expansions and improvements.

搜集汇总

数据集介绍

构建方式

在连续黑盒优化领域，ZEROSHOTOPT数据集的构建采用了基于高斯过程的合成函数生成策略。通过随机化核函数类型、长度尺度等参数，系统生成了160万个涵盖2D至20D维度的多样化函数空间。每个函数环境运行12种贝叶斯优化变体，包括不同采集函数与核函数组合，产生包含初始10个随机样本和40步优化轨迹的完整数据序列，最终形成约2000万条专家级优化轨迹的大规模预训练数据集。

使用方法

使用该数据集时，研究者可通过指定零遗憾值启动生成过程，模拟最佳基线方法的优化行为。模型接收初始随机样本后，通过并行推理生成多个候选动作，并基于预期改进采集函数选择最优评估点。推理过程中采用动态缩放策略处理状态值，确保模型在不同问题空间中的稳定表现。该框架支持直接部署于未见过的优化问题，也允许通过领域特定数据进行微调以提升性能。

背景与挑战

背景概述

在计算科学与工程领域，昂贵且无导数的黑盒函数全局优化问题长期受到关注，传统方法如贝叶斯优化虽为当前主流，但其性能高度依赖手动调整的超参数。2025年，麻省理工学院与MIT-IBM沃森人工智能实验室的研究团队联合推出ZEROSHOTOPT数据集，旨在构建基于预训练模型的通用黑盒优化器。该数据集通过高斯过程生成数百万合成函数轨迹，结合12种贝叶斯优化变体，利用离线强化学习训练Transformer架构，实现了在2D至20D连续空间中的零样本泛化能力，显著提升了优化效率与跨问题适应性。

当前挑战

ZEROSHOTOPT致力于解决黑盒优化中样本效率低与超参数依赖强的核心难题，其构建面临双重挑战：在领域问题层面，需克服传统优化器在低评估预算下泛化能力不足的局限；在数据生成过程中，大规模合成函数的多样性与高维轨迹的采集耗费巨大计算资源，且Transformer模型的训练需平衡维度扩展与序列建模的复杂性。

常用场景

经典使用场景

在昂贵黑盒函数的全局优化领域，ZEROSHOTOPT数据集通过合成高斯过程轨迹与离线强化学习的结合，为连续参数空间的零样本优化提供了标准化的训练基础。该数据集特别适用于评估样本效率敏感的优化算法，研究人员可基于其构建的200万条专家轨迹，验证各类元学习模型在低评估预算下的泛化能力。

解决学术问题

该数据集有效解决了传统贝叶斯优化中超参数依赖人工调优的瓶颈，通过预训练Transformer模型实现了跨问题域的零样本迁移。其核心价值在于突破了优化算法对特定核函数与采集函数的依赖，为黑盒优化领域提供了可复现的基准测试框架，显著推动了数据驱动优化方法的发展。

实际应用

在药物配方研发与材料发现等实际场景中，ZEROSHOTOPT支持构建即插即用的优化系统。例如在临床实验设计中，研究者可直接调用预训练模型对剂量参数进行高效搜索，相比传统进化算法节省90%的评估成本，同时避免了贝叶斯优化对领域知识的依赖。

数据集最近研究

最新研究方向

在昂贵黑盒优化领域，ZEROSHOTOPT通过融合离线强化学习与Transformer架构开辟了新路径。该模型利用高斯过程生成数百万合成函数轨迹进行预训练，实现了从2维到20维连续空间的零样本泛化能力。当前研究聚焦于突破传统贝叶斯优化对超参数调优的依赖，通过注意力机制动态捕捉优化策略的迁移规律，在材料发现与药物设计等低评估预算场景中展现出显著优势。其开源数据集与模型架构为构建通用优化基座奠定了基础，推动了数据驱动优化范式从领域特定向跨任务泛化的转变。

相关研究论文

• ZeroShotOpt: Towards Zero-Shot Pretrained Models for Efficient Black-Box Optimization

  麻省理工学院 · 2025年