PredictiveCO Benchmark

预测组合优化基准数据集，用于评估预测组合优化（PtO和PnO）方法在不确定系数下的表现，涵盖能源成本感知调度和广告预算分配等现实世界应用场景。

This predictive combinatorial optimization benchmark dataset is designed to evaluate the performance of predictive combinatorial optimization (PtO and PnO) methods under uncertain coefficients, covering real-world application scenarios such as energy cost-aware scheduling and advertising budget allocation.

原始信息汇总

PredictiveCO Benchmark

概述

PredictiveCO Benchmark 是一个用于预测组合优化（Predictive Combinatorial Optimization, Predictive-CO）的基准测试框架。该框架旨在评估两种设计原则下的方法：“预测-然后-优化（Predict-then-Optimize, PtO）”和“预测-并-优化（Predict-and-Optimize, PnO）”。

数据集

• 问题类型：涵盖8个问题，包括一个新的工业数据集，用于组合广告。
• 方法：基准测试包括11种现有的PtO/PnO方法。

模块化框架

• 用户自定义：用户可以在特定问题、预测器、求解器、损失函数和评估方法上采用自己的部署。

使用方法

• 安装：通过以下命令本地安装：

  pip install -e .

• 运行算法：参考“shells/benchmarks”文件夹中的shell脚本。

引用

bibtex @inproceedings{geng2024predictive, title={Benchmarking PtO and PnO Methods in the Predictive Combinatorial Optimization Regime}, author={Geng, Haoyu and Ruan, Hang and Wang, Runzhong and Li, Yang and Wang, Yang and Chen, Lei and Yan, Junchi}, booktitle={NeurIPS 2024 Datasets and Benchmarks Track}, year={2024} }

使用条款

使用此基准数据集时，表示您同意附录C中指定的使用条款。

搜集汇总

数据集介绍

构建方式

在构建PredictiveCO Benchmark数据集时，研究团队设计了一个模块化的框架，旨在系统地评估预测组合优化（Predictive Combinatorial Optimization, Predictive-CO）中的两种主要方法：Predict-then-Optimize (PtO) 和 Predict-and-Optimize (PnO)。该框架允许用户在特定问题上采用自定义的预测模型、优化求解器、损失函数和评估方法。数据集涵盖了8个不同的优化问题，包括一个新的工业数据集，用于组合广告优化。通过这种方式，研究团队能够全面比较11种现有的PtO/PnO方法在代表性实际场景中的表现。

使用方法

使用PredictiveCO Benchmark数据集时，用户首先需要通过pip安装本地包：`pip install -e .`。随后，用户可以参考`shells/benchmarks`文件夹中的shell脚本，运行PtO和PnO算法以解决特定问题。该数据集的模块化设计允许用户根据具体需求选择和配置预测模型、优化求解器、损失函数和评估方法，从而实现快速原型设计和应用开发。此外，数据集的广泛应用场景和详细文档支持，使得其在预测组合优化领域的研究和应用中具有极高的实用价值。

背景与挑战

背景概述

预测组合优化（Predictive Combinatorial Optimization, PredictiveCO）数据集，由Geng等人于2024年创建，旨在系统评估预测后优化（Predict-then-Optimize, PtO）和预测与优化（Predict-and-Optimize, PnO）方法在不确定参数下的组合优化问题中的表现。该数据集的核心研究问题在于比较这两种方法在实际应用中的有效性，涵盖了能源成本感知调度、广告预算分配等多个领域。PredictiveCO数据集的发布填补了该领域缺乏系统性基准的空白，为未来研究提供了坚实的基础，并有望推动组合优化技术在实际应用中的进一步发展。

当前挑战

PredictiveCO数据集在构建过程中面临的主要挑战包括：首先，如何设计一个能够涵盖多种实际应用场景的评估数据集，以确保其广泛适用性。其次，如何实现预测模型与优化求解器的高效集成，以评估PtO和PnO方法的性能差异。此外，数据集还需解决不同方法在模块级设计选择上的多样性问题，确保基准的全面性和公正性。这些挑战不仅涉及技术层面的复杂性，还要求研究者具备跨学科的综合能力，以应对实际应用中的多变需求。

常用场景

经典使用场景

PredictiveCO Benchmark数据集在预测组合优化领域中具有经典的使用场景，特别是在能源成本感知调度和广告预算分配等实际应用中。该数据集通过提供一个模块化的框架，允许用户在其特定的预测模型和优化求解器上进行部署，从而系统地评估和比较Predict-then-Optimize (PtO)和Predict-and-Optimize (PnO)两种方法的性能。这种模块化的设计不仅促进了学术研究中的方法比较，还为实际应用中的快速原型开发提供了支持。

解决学术问题

PredictiveCO Benchmark数据集解决了预测组合优化领域中缺乏系统性基准的问题。通过提供一个包含11种现有PtO/PnO方法和8个问题的综合基准，该数据集为研究人员提供了一个标准化的评估平台，有助于深入理解不同方法在实际应用中的表现。此外，数据集中的新工业数据集为组合广告问题提供了实际数据支持，进一步推动了该领域的研究进展。

实际应用

PredictiveCO Benchmark数据集在实际应用中具有广泛的应用前景，特别是在需要预测和优化相结合的场景中，如能源管理和广告预算分配。通过提供一个模块化的框架，该数据集支持用户根据具体需求定制预测模型和优化求解器，从而在实际操作中实现更高效的资源分配和成本控制。这种灵活性和实用性使得该数据集成为企业和研究机构在复杂决策环境中进行优化的有力工具。

数据集最近研究

最新研究方向

在预测组合优化（Predictive Combinatorial Optimization, Predictive-CO）领域，最新的研究方向集中在对Predict-then-Optimize (PtO)和Predict-and-Optimize (PnO)方法的系统性基准测试上。这一研究方向的兴起源于对实际应用中不确定性参数的精确建模需求，如能源成本感知调度和广告预算分配。通过开发模块化框架，研究人员能够对现有11种PtO/PnO方法在8个问题上的表现进行全面评估，并引入新的工业数据集以覆盖更多真实场景。研究结果表明，PnO方法在7个基准测试中优于PtO，但尚未发现适用于所有情况的‘银弹’设计选择。这一研究不仅为未来PnO方法的发展提供了全面的基准，还为应用导向的快速原型设计提供了有力支持。