Large-Scale-OR; Air-NRM

Large-Scale-OR是由新加坡国立大学等机构联合构建的首个大规模优化自动建模基准数据集，包含101个涵盖资源分配、运输问题等多元商业场景的中大规模问题实例（26%中等规模、50%超100变量）。Air-NRM则是针对新加坡航空公司收益管理用例开发的专项数据集，包含36个航班网络规划与票价容量分配问题实例。数据源自Kaggle平台经结构化处理，通过语义差异化设计确保泛化性，支持线性/混合整数规划建模，为验证LEAN-LLM-OPT框架在长文本推理与数据处理方面的优越性提供实证基础。Large-Scale-OR is the first large-scale automated optimization modeling benchmark dataset jointly developed by the National University of Singapore and other institutions. It encompasses 101 medium-to-large scale problem instances across diverse commercial scenarios including resource allocation and transportation problems, with 26% being medium-scale and 50% containing over 100 variables. Air-NRM is a dedicated dataset developed for the revenue management use case of Singapore Airlines, which includes 36 problem instances for flight network planning and fare-capacity allocation. Both datasets were sourced from the Kaggle platform and subjected to structured processing, with semantic differentiation designed to ensure generalization. They support linear/mixed-integer programming modeling and provide an empirical basis for validating the superiority of the LEAN-LLM-OPT framework in long-text reasoning and data processing.

原始信息汇总

数据集概述

数据集基本信息

• 数据集名称：LEAN-LLM-OPT
• 关联论文：https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5329027
• 核心内容：支持大规模优化模型自动构建的多智能体框架及相关数据与实验。

数据集构成与内容

1. 数据文件目录

• Large_Scale_Or_Files/：包含进一步实验所需的所有参考数据文件。
• Test_Dataset/：包含测试数据集，具体包括：
  • Air_NRM（新加坡航空公司用例）
  • Large-scale-or（70个基准测试）
  • Small-scale（NL4OPT和IndustryOR）
• Results/：包含论文中的所有数值结果。

2. 代码与实验文件

• Ablation_Study_Air_NRM_Few-shot_Only.ipynb：针对Air_NRM用例，在仅使用少量样本学习设置下进行消融研究的Jupyter笔记本。
• Ablation_Study_Air_NRM_RAG_Only.ipynb：针对Air_NRM用例，专注于仅使用检索增强生成设置的消融研究。
• LEAN_LLM_OPT_Air_NRM.ipynb：为Air_NRM场景实现LEAN-LLM-OPT框架。
• LEAN_LLM_OPT_Large-scale-or.ipynb：为大规模和小规模实验实现LEAN-LLM-OPT框架。
• requirements.txt：列出所需的Python包。

使用说明

环境要求

• Python 3.10或更高版本。
• 推荐环境：Conda或virtualenv。

获取与运行步骤

1. 克隆代码库：gh repo clone CoraLiang01/lean-llm-opt
2. 进入项目目录并安装依赖：cd lean-llm-opt 与 pip install -r requirements.txt
3. 运行Jupyter Notebooks：打开提供的任意笔记本文件以探索实验或复现结果。

致谢与联系

• 数据提供方：新加坡航空公司提供了模拟数据集并支持案例研究。
• 联系人：
  • Kuo Liang: [e-mail]
  • Hanzhang Qin: [e-mail]
  • Ruihao Zhu: [e-mail]

搜集汇总

数据集介绍

构建方式

在自动化优化建模领域，Large-Scale-OR与Air-NRM数据集的构建体现了严谨的工程化流程。Large-Scale-OR作为首个面向大规模优化问题自动建模的基准测试集，其构建过程始于从Kaggle平台获取的多样化业务场景数据。研究团队将这些原始数据转化为包含用户查询与优化模型标签的问题实例，每个实例均由自然语言描述与关联数据集组成。通过专家标注，为每个问题实例生成精确的数学规划模型作为基准真值，确保了数据集的权威性与可靠性。该数据集特别强调中大规模问题实例，其中包含26%的中等规模问题与50%的大规模问题，有效覆盖了实际业务中常见的复杂优化场景。

使用方法

该数据集主要用于评估大规模优化自动建模方法的性能。研究人员可通过将自然语言查询与关联数据集输入待测系统，对比生成的优化模型与基准真值之间的匹配度。评估采用执行准确率作为核心指标，即通过求解生成模型获得的优化解与基准最优值的一致性比例。在实际应用中，数据集支持两种主要使用模式：一是作为基准测试平台，系统比较不同建模框架在多样化问题实例上的表现；二是作为方法开发的指导性资源，帮助研究者识别模型在长文本理解、数据提取与数学建模等关键环节的薄弱点。数据集还支持对问题类型、输入规模与输出复杂度等多个维度的细粒度分析。

背景与挑战

背景概述

Large-Scale-OR与Air-NRM数据集由新加坡国立大学、上海交通大学等机构的研究团队于2026年提出，旨在推动大规模优化模型自动构建领域的发展。该数据集聚焦于解决商业决策中大规模优化问题自动化建模的核心挑战，即如何从自然语言描述和相关数据集中自动生成精确的数学优化模型。其创建背景源于现代企业运营日益复杂，传统依赖专家手动构建优化模型的方式效率低下、成本高昂，成为技术应用的瓶颈。数据集通过整合真实业务场景中的多样化问题实例，为评估基于大语言模型的自动化建模方法提供了首个综合性基准，显著提升了相关领域的研究效率与实用性。

当前挑战

该数据集面临的挑战主要体现在两大维度：在领域问题层面，其致力于解决大规模优化模型的自动构建问题，但现有方法在处理长输入序列时性能显著下降，尤其是当输入包含复杂问题描述与大规模数据集时，模型的推理准确率急剧恶化；在构建过程中，数据集的创建需克服真实业务场景中问题实例的多样性与复杂性，确保涵盖不同规模与类型的优化问题，同时避免数据泄露或过拟合风险，这要求严格的数据差异性与语义独立性设计，增加了数据收集、标注与验证的难度。

常用场景

经典使用场景

在运筹学与人工智能交叉领域，Large-Scale-OR和Air-NRM数据集作为首个面向大规模优化模型自动构建的综合性基准，其经典使用场景聚焦于评估大型语言模型在复杂业务决策问题中的建模能力。该数据集通过整合多领域实际应用案例，如医疗资源分配、电子商务库存优化及航空收益管理，为研究者提供了验证自动化建模框架在长文本输入与大规模数据表处理场景下性能的标准化测试平台。其设计充分考虑了现实业务中优化问题的异构性与规模可变性，使得评估结果能够准确反映方法在真实环境中的泛化能力与鲁棒性。

解决学术问题

该数据集有效解决了大规模优化自动建模领域的关键学术挑战。传统方法在处理长文本描述与外部数据集联合输入时面临建模精度急剧下降的困境，而Large-Scale-OR通过构建包含中大规模变量（20-99变量占26%，≥100变量占50%）的多样化问题实例，为突破输入长度与模型复杂度之间的性能瓶颈提供了实证基础。其意义在于首次系统化地量化了现有方法在语义理解、数据关联与系数配置等核心环节的局限性，推动了基于智能体工作流构造的新型建模范式发展，为降低优化技术应用门槛提供了理论支撑与实践路径。

实际应用

在航空收益管理等实际业务场景中，Air-NRM数据集展现了显著的实用价值。新加坡航空公司的案例研究表明，该数据集能够支撑从基础舱位分配到联合航班调度与舱位配置的复杂决策建模。通过模拟真实售票数据训练的广义吸引力模型，数据集构建的销售导向线性规划问题可自动生成兼顾升舱需求与跨航班流转的优化模型，帮助航空公司实现收益最大化。这种将业务规则、客户选择行为与运力约束深度融合的建模方式，为传统需要专家数月手工构建的优化系统提供了分钟级自动化解决方案，显著提升了企业决策效率与模型迭代速度。

数据集最近研究

最新研究方向

在运筹学与人工智能交叉领域，Large-Scale-OR和Air-NRM数据集作为大规模优化模型自动构建的首个综合基准，正推动研究前沿聚焦于基于大语言模型的智能体工作流架构。当前研究热点围绕轻量级少样本学习框架LEAN-LLM-OPT展开，该框架通过动态构建多智能体协作流程，将复杂建模任务分解为结构化子任务，有效缓解了传统微调方法在处理长序列输入与异构数据时的性能衰减问题。在新加坡航空收益管理等实际场景中，该方向展示了将自然语言描述与外部数据集自动转化为优化模型的潜力，显著降低了专业建模门槛，为智能决策系统提供了可扩展的技术路径。

相关研究论文

• LLM for Large-Scale Optimization Model Auto-Formulation: A Lightweight Few-Shot Learning Approach

  上海交通大学·安泰经济与管理学院; 新加坡国立大学·工业系统工程与管理系; 上海财经大学·信息管理与工程学院; 香港城市大学·系统工程系; 新加坡国立大学·运筹学与分析研究所; 新加坡国立大学（重庆）研究院·现代物流中心; 康奈尔大学·庄臣商学院; SIA-NUS数字航空企业实验室 · 2026年