ZEROSHOTOPT

ZEROSHOTOPT数据集是一个为连续黑盒优化任务而设计的预训练模型，通过在12种贝叶斯优化变体的大规模优化轨迹上使用离线强化学习进行训练。该数据集包含了约2000万个合成的高斯过程函数，旨在帮助模型学习可迁移的优化策略。数据集的创建过程涉及使用高斯过程生成具有多样景观的合成函数，并从12种贝叶斯优化变体中收集大规模的优化轨迹。这些轨迹用于训练一个可扩展的transformer模型，该模型能够在2D到20D的维度范围内进行高效的黑盒优化。ZEROSHOTOPT数据集旨在解决在严格评估预算下进行黑盒优化的问题，为未来的扩展和改进提供了一个可重用的基础。

搜集汇总

数据集介绍

构建方式

在连续黑盒优化领域，ZEROSHOTOPT数据集的构建采用了基于高斯过程的合成函数生成策略。通过随机化核函数类型、长度尺度等参数，系统生成了160万个涵盖2D至20D维度的多样化函数空间。每个函数环境运行12种贝叶斯优化变体，包括不同采集函数与核函数组合，产生包含初始10个随机样本和40步优化轨迹的完整数据序列，最终形成约2000万条专家级优化轨迹的大规模预训练数据集。

使用方法

使用该数据集时，研究者可通过指定零遗憾值启动生成过程，模拟最佳基线方法的优化行为。模型接收初始随机样本后，通过并行推理生成多个候选动作，并基于预期改进采集函数选择最优评估点。推理过程中采用动态缩放策略处理状态值，确保模型在不同问题空间中的稳定表现。该框架支持直接部署于未见过的优化问题，也允许通过领域特定数据进行微调以提升性能。

背景与挑战

背景概述

在计算科学与工程领域，昂贵且无导数的黑盒函数全局优化问题长期受到关注，传统方法如贝叶斯优化虽为当前主流，但其性能高度依赖手动调整的超参数。2025年，麻省理工学院与MIT-IBM沃森人工智能实验室的研究团队联合推出ZEROSHOTOPT数据集，旨在构建基于预训练模型的通用黑盒优化器。该数据集通过高斯过程生成数百万合成函数轨迹，结合12种贝叶斯优化变体，利用离线强化学习训练Transformer架构，实现了在2D至20D连续空间中的零样本泛化能力，显著提升了优化效率与跨问题适应性。

当前挑战

ZEROSHOTOPT致力于解决黑盒优化中样本效率低与超参数依赖强的核心难题，其构建面临双重挑战：在领域问题层面，需克服传统优化器在低评估预算下泛化能力不足的局限；在数据生成过程中，大规模合成函数的多样性与高维轨迹的采集耗费巨大计算资源，且Transformer模型的训练需平衡维度扩展与序列建模的复杂性。

常用场景

经典使用场景

在昂贵黑盒函数的全局优化领域，ZEROSHOTOPT数据集通过合成高斯过程轨迹与离线强化学习的结合，为连续参数空间的零样本优化提供了标准化的训练基础。该数据集特别适用于评估样本效率敏感的优化算法，研究人员可基于其构建的200万条专家轨迹，验证各类元学习模型在低评估预算下的泛化能力。

解决学术问题

该数据集有效解决了传统贝叶斯优化中超参数依赖人工调优的瓶颈，通过预训练Transformer模型实现了跨问题域的零样本迁移。其核心价值在于突破了优化算法对特定核函数与采集函数的依赖，为黑盒优化领域提供了可复现的基准测试框架，显著推动了数据驱动优化方法的发展。

实际应用

在药物配方研发与材料发现等实际场景中，ZEROSHOTOPT支持构建即插即用的优化系统。例如在临床实验设计中，研究者可直接调用预训练模型对剂量参数进行高效搜索，相比传统进化算法节省90%的评估成本，同时避免了贝叶斯优化对领域知识的依赖。

数据集最近研究

最新研究方向

在昂贵黑盒优化领域，ZEROSHOTOPT通过融合离线强化学习与Transformer架构开辟了新路径。该模型利用高斯过程生成数百万合成函数轨迹进行预训练，实现了从2维到20维连续空间的零样本泛化能力。当前研究聚焦于突破传统贝叶斯优化对超参数调优的依赖，通过注意力机制动态捕捉优化策略的迁移规律，在材料发现与药物设计等低评估预算场景中展现出显著优势。其开源数据集与模型架构为构建通用优化基座奠定了基础，推动了数据驱动优化范式从领域特定向跨任务泛化的转变。

相关研究论文

• ZeroShotOpt: Towards Zero-Shot Pretrained Models for Efficient Black-Box Optimization

  麻省理工学院 · 2025年