E-OPT

E-OPT数据集由香港科技大学（广州）等机构的研究人员创建，旨在评估大型语言模型在优化问题上的端到端解决能力。该数据集包含605个问题，涉及线性和非线性编程，包括表格数据，填补了现有优化基准的空白。数据集通过精心选择和手动验证形成，适用于工业应用场景中的优化问题解决，如供应链管理和能源调度。The E-OPT dataset was created by researchers from institutions including Hong Kong University of Science and Technology (Guangzhou). It aims to evaluate the end-to-end problem-solving capabilities of large language models (LLMs) on optimization problems. Comprising 605 problems covering linear and nonlinear programming with tabular data included, the dataset fills the gap in existing optimization benchmarks. Developed through careful selection and manual verification, the dataset is applicable to solving optimization problems in industrial application scenarios such as supply chain management and energy scheduling.

原始信息汇总

数据集详情

数据集描述

• 该数据集详情页面包含多个部分，主要用于展示和分析数据集的各个方面。

页面布局

• 页面布局包括多个组件，如用户管理、分析存储、竞赛列表、竞赛详细结果、竞赛运行信息、竞赛统计、竞赛标签等。

组件样式

• 每个组件都有特定的样式和布局，例如：
  • user_management：用户管理组件，包含搜索栏、表格等。
  • analytics-storage-competitions-usage：分析存储竞赛使用情况组件，包含日期选择、图表容器等。
  • competition-list：竞赛列表组件，包含参与表格等。
  • comp-detail-header：竞赛详细头部组件，包含竞赛名称、详细标签等。
  • comp-run-info：竞赛运行信息组件，包含排行榜、提交、评论等。
  • comp-stats：竞赛统计组件，包含统计信息等。
  • comp-tabs：竞赛标签组件，包含多个标签页，如排行榜、提交、页面、阶段、管理等。
  • comp-detail-timeline：竞赛详细时间线组件，包含进度条、阶段日期等。

样式细节

• 样式细节包括字体大小、颜色、边框、背景等，例如：
  • 竞赛名称使用大号字体和特定颜色。
  • 进度条使用特定颜色和高度。
  • 表格头部使用特定背景颜色和边框。

响应式设计

• 部分组件支持响应式设计，例如：
  • comp-run-info组件在屏幕宽度大于700px时，会调整布局。

搜集汇总

数据集介绍

构建方式

E-OPT数据集的构建方法采用了人工收集和验证的方式。数据集的构建者从教科书、大学课程作业和考试中收集了605个问题，并进行了仔细的手动验证。每个问题都包含了一个优化问题，要求语言模型能够理解问题并调用代码求解器来得到精确的数值答案。为了解决优化问题数据稀缺的问题，构建者还提出了一个名为ReSocratic的新型数据合成方法。该方法从少量种子样本中逐步合成高质量的优化场景，然后将生成的场景反向翻译成问题，从而生成29k个样本的ReSocratic-29k数据集。

特点

E-OPT数据集的特点是包含丰富的优化问题，包括带表格数据或不带表格数据的线性/非线性编程问题。这些问题可以全面评估语言模型在解决优化问题方面的能力。此外，E-OPT数据集还包含了表格数据，填补了当前优化基准测试在工业场景中的空白。ReSocratic-29k数据集则通过反向合成方法生成，具有多样性和可靠性，可以用于微调开源小模型，提高它们在E-OPT上的性能。

使用方法

使用E-OPT数据集的方法包括零样本、少样本和监督微调。在零样本和少样本设置中，语言模型可以直接在E-OPT上测试其解决优化问题的能力。在监督微调设置中，可以使用ReSocratic-29k数据集来微调语言模型，从而提高它们在E-OPT上的性能。具体来说，可以使用E-OPT的提示和代码模板来生成语言模型的输入，并使用ReSocratic-29k数据集来训练和评估语言模型。

背景与挑战

背景概述

E-OPT数据集是一项旨在评估大型语言模型（LLMs）解决优化问题端到端能力的新基准。该数据集由来自香港科技大学、加州大学洛杉矶分校、香港城市大学、中山大学、重庆大学和华为诺亚方舟实验室的研究人员创建，于2024年发布。E-OPT包含了丰富的优化问题，包括带或不带表格数据的线性/非线性编程，旨在全面评估LLMs在解决现实世界优化问题方面的能力。此外，为了缓解优化问题数据稀缺的问题，以及缩小开源LLMs和闭源LLMs之间的差距，研究人员还提出了名为ReSocratic的新型数据合成方法。ReSocratic通过逐步合成优化场景的数学公式，并将其反向翻译成问题，有效地提高了LLMs在E-OPT上的表现。

当前挑战

E-OPT数据集和相关研究面临的挑战主要包括：1) LLMs解决实际优化问题的挑战，包括对问题的正确理解和调用代码求解器以获取精确的数值答案；2) 构建过程中遇到的挑战，如数据收集、注释和合成的复杂性，以及对LLMs在非线性优化问题和实际表格格式上的评估。为了应对这些挑战，研究人员提出了ReSocratic数据合成方法，该方法通过从场景到问题的反向合成方式，有效地提高了LLMs在E-OPT上的表现，并缩小了开源LLMs和闭源LLMs之间的差距。

常用场景

经典使用场景

E-OPT数据集主要用于评估大型语言模型（LLMs）在解决现实世界优化问题（OPT）的能力。该数据集包含了丰富的优化问题，包括带或不带表格数据的线性/非线性规划，可以全面评估LLMs的求解能力。LLMs需要正确理解E-OPT中的问题，并调用代码求解器以获得精确的数值答案。

实际应用

E-OPT数据集在实际应用场景中可用于评估和训练LLMs解决优化问题的能力。通过使用E-OPT数据集进行微调，LLMs可以更好地理解和解决现实世界中的优化问题，例如供应链管理、能源调度、营销和量化交易等。

衍生相关工作

E-OPT数据集的提出引发了一系列相关研究。ReSocratic方法作为一种新颖的数据合成方法，已被广泛应用于解决LLMs在解决优化问题时的数据稀缺问题。此外，E-OPT数据集还推动了LLMs在解决数学优化问题方面的发展，例如NL4OPT和MAMO等基准的提出。