SAGE多策略优化建模数据集

SAGE多策略优化建模数据集由北京航空航天大学与九天研究院联合构建，旨在解决大语言模型在优化建模中策略选择隐式化的问题。该数据集包含（问题描述、建模推理、求解器代码）三元组，通过教师模型生成多策略候选方案并经求解器验证和去重处理，强调对流量分配、序列位置等建模范式的显式区分。数据构建过程采用Gurobi求解器进行可行性验证，并引入LLM作为裁判消除语义冗余策略，最终应用于提升自动化优化建模的准确性、可执行性及求解效率。

The SAGE Multi-strategy Optimization Modeling Dataset was jointly constructed by Beihang University and Jiutian Research Institute, aiming to address the issue of implicit strategy selection in optimization modeling for large language models (LLMs). This dataset includes triplets of (problem description, modeling reasoning, and solver code). It generates multi-strategy candidate schemes via a teacher model, followed by solver verification and deduplication processing, with an emphasis on explicitly differentiating modeling paradigms such as traffic allocation and sequence positioning. During the dataset construction process, the Gurobi solver is utilized for feasibility validation, and an LLM is introduced as a referee to eliminate semantically redundant strategies. Ultimately, this dataset is applied to improve the accuracy, executability, and solution efficiency of automated optimization modeling.

原始信息汇总

数据集概述：SAGE - 策略感知优化建模

数据集简介

SAGE（Strategy-Aware Optimization Modeling with Reasoning LLMs）是一个用于自动化优化建模的策略感知框架。该框架通过强化学习和求解器反馈，显式推理建模策略，优化公式的正确性和求解效率。

核心方法

SAGE 包含两个训练阶段：

• 阶段一：多策略数据构建
  • 为每个问题生成多个候选建模策略。
  • 产生策略条件化的推理和求解器代码。
  • 通过求解器执行过滤错误输出。
  • 去除语义冗余的策略。
• 阶段二：策略感知训练
  • 对经过验证的多策略数据进行监督微调。
  • 使用分段加权GRPO进行强化学习。
  • 复合奖励函数涵盖：结构化格式合规性、求解器验证的正确性、求解器效率。

主要结果

表1：Pas@1准确率（%）——在八个优化建模基准上的整体表现。

模型类别	模型名称	NL4OPT	MAMO Easy	NLP4LP	OptiB.	MAMO Complex	CpxOR	IndOR	OptM.	平均
在线RL	SAGE-DS-14B（本文）	94.3	94.7	98.9	93.8	84.7	61.1	69.0	45.8	80.3

关键发现：

• SAGE在所有开源方法中实现了最佳平均性能（80.3%）。
• 在复杂基准（MAMO-Complex、ComplexOR、IndustryOR、OptMATH）上优势尤为明显。
• SAGE超越了其教师模型DeepSeek-R1，尽管使用了更少的参数。

其他性能

• Pas@K准确率与建模多样性：随着采样预算K的增加，SAGE能持续发现更多正确的公式，并探索更广泛的建模策略集合。
• 求解器效率分析：在问题规模增长时，SAGE始终能生成求解速度更快、所需求解器迭代次数更少、扩展性更好的公式。

搜集汇总

数据集介绍

构建方式

在运筹优化领域，大型语言模型虽能生成语法正确的优化程序，却常因无法可靠地选择有效的建模策略而导致公式错误或求解低效。为应对这一挑战，SAGE数据集采用了一种显式策略感知的构建范式。首先，利用教师模型为每个运筹问题生成多个候选建模策略，并基于选定策略产生结构化的推理轨迹与对应的Gurobi求解器代码。随后，通过求解器执行验证，筛除不可运行、无界或解不匹配的错误输出。最后，借助LLM作为评审者对语义冗余的策略进行去重，从而构建出一个经求解器验证的多策略数据集，为后续训练提供高质量的监督信号。

特点

SAGE数据集的核心特质在于其显式建模策略的引入与多视角的优化目标。该数据集不局限于单一公式化范式，而是为每个问题保留了多种截然不同的建模路径，例如基于流、基于分配或基于时间索引的范式，显著提升了模型对复杂问题的适应能力。此外，数据集的构建严格依赖于求解器的反馈验证，确保了所有存储样例的数学正确性与可执行性。更为重要的是，该数据集在设计时兼顾了格式合规性、结果正确性与求解效率三重维度，为训练能够生成既正确又高效的紧凑型公式的模型奠定了坚实基础。

使用方法

SAGE数据集的使用遵循一个两阶段的精细化训练流程。在监督微调阶段，模型从数据集中学习如何为给定问题生成分别包括策略选择、建模实例化与全局一致性检查的结构化推理轨迹及对应的Gurobi代码。随后，在强化学习阶段，采用基于分段权重的GRPO算法，对策略、建模与检查等不同推理片段赋予差异化的训练权重，并结合一个由格式奖励、结果奖励和效率奖励组成的复合奖励函数进行优化。这种设计使得模型不仅能够模仿教师行为，更能通过求解器的直接反馈精细化调整其策略选择，生成更紧凑、更高效的公式化模型。

背景与挑战

背景概述

在运筹学领域，将非正式决策需求转化为精确的数学模型是优化求解的前提，然而这一过程长期依赖于领域专家的经验判断，成为自动化决策链路中的关键瓶颈。随着大语言模型在数学推理与代码生成方面展现出的卓越能力，自动优化建模逐步成为研究热点。在此背景下，北京航空航天大学与九天研究院的研究团队于2026年联合提出了SAGE多策略优化建模数据集。该数据集聚焦于如何让模型在构建优化模型时显式地选择并遵循高阶建模策略，而非仅关注最终公式的正确性。其核心研究问题在于弥补现有方法中策略选择隐式化的缺陷，通过构建经求解器验证的多策略数据集，促使学生模型在推理过程中明确策略选择，从而提升建模的可靠性与求解效率。该工作发表于ICML 2026，为自动优化建模的研究范式提供了全新的视角与方法基准。

当前挑战

SAGE数据集所应对的核心挑战源于优化建模中固有的策略选择困境。首先，在领域问题层面，同一优化问题往往存在多种等价的建模范式，例如基于流的模型与基于分配的模型在变量空间、约束紧度以及求解器性能上存在显著差异，而现有模型在训练数据中缺乏显式的策略推理信号，导致范式选择难以学习，易引发索引空间错配甚至运行时错误。其次，在数据集构建过程中，研究者需要解决高质量多策略训练数据的自动生成与验证难题，包括从教师模型中为每个问题生成多个候选策略、通过求解器验证筛选出正确的建模实例，以及利用LLM作为裁判剔除语义冗余的策略，确保数据集中策略的多样性与非冗余性。此外，如何设计能够同时编码格式合规性、结果正确性与求解效率的复合奖励函数，并在长序列推理中实现精确的信用分配，亦是训练过程中的重要技术挑战。

常用场景

经典使用场景

在运筹学与最优化建模领域中，SAGE多策略优化建模数据集为研究如何将自然语言描述的非结构化决策问题自动转化为可求解的数学规划模型提供了关键支撑。其最经典的使用场景在于训练与评估具备策略感知能力的大语言模型，使其能够从问题描述中精准识别问题类别，并依据不同的建模范式（如基于流的、基于分配的或基于时间索引的）生成全局一致、可执行且求解高效的优化模型。该数据集通过引入显式的“建模策略”层，颠覆了以往仅关注最终公式正确性的惯例，使得模型在学习过程中能够明确区分范式选择与公式实例化两个阶段，从而在复杂的生产调度、资源分配与物流规划等任务中展现出卓越的建模鲁棒性与求解效率。

解决学术问题

学术界长期面临的一个核心挑战在于如何使语言模型在自动建模过程中克服“隐性策略”困境——即模型虽能生成语法正确的优化代码，却因缺乏对高层建模范式的显式选择而频繁导致索引空间不匹配、变量定义冗余乃至求解失败等严重错误。SAGE数据集通过精心构建的求解器验证的多策略样本库，从根本上解决了这一问题：它首次将建模策略作为可学习、可优化的显式变量引入训练流程，使得模型能够系统性地掌握从问题类别识别、范式选择到决策变量定义和约束逻辑设计的完整推理链条。该数据集的问世不仅将pass@1平均准确率从72.7%提升至80.3%，更重要的是在复杂的混合整数规划与行业级优化问题上实现了约15.4%的显著性能跃升，为自动化运筹建模领域的学术研究开辟了策略驱动的新范式。

衍生相关工作

SAGE数据集的构建理念与卓越性能已激发了多个具有深远影响的衍生研究工作。沿着显式建模策略这一核心思路，后续研究者将策略感知框架拓展至更复杂的非线性规划与随机优化领域，提出了诸如OR-R1等通过测试时策略优化来动态精炼公式的方法。同时，SAGE中首创的Segment-Weighted GRPO算法为长序列推理任务中的信用分配问题提供了全新解决方案，该方法被成功迁移至数学证明生成与代码调试等领域，显著提升了模型在复杂多步骤任务中的训练效果。此外，基于该数据集的大规模多策略生成方法启发了自动策略发现与策略迁移学习的研究方向，推动了跨问题类型的建模知识复用，形成了以策略显式化为核心的新一代运筹智能研究生态。