five

OptMATH-Train, OptMATH-Bench

收藏
github2025-03-05 更新2025-03-19 收录
下载链接:
https://github.com/AuroraLHL/OptMATH
下载链接
链接失效反馈
官方服务:
资源简介:
OptMATH-Train包含超过20万高质量和多样化的优化问题,涵盖物流、供应链、制造等多种优化场景。OptMATH-Bench是一个具有挑战性的基准测试,包含‘困难实例’,其特征是扩展的自然语言上下文、复杂的约束以及覆盖各种问题类型(LP、MILP、IP、NLP、SOCP)。

OptMATH-Train contains over 200,000 high-quality and diverse optimization problems spanning multiple optimization scenarios such as logistics, supply chain, and manufacturing. OptMATH-Bench is a challenging benchmark dataset that includes "hard instances", which are characterized by extended natural language contexts, complex constraints, and encompass a wide range of problem types (LP, MILP, IP, NLP, SOCP).
创建时间:
2025-02-21
原始信息汇总

OptMATH数据集概述

数据集简介

  • 名称: OptMATH
  • 类型: 优化建模数据集
  • 框架特点: 可扩展的双向数据合成框架
  • 主要功能:
    1. 从种子数学公式生成可控复杂度的优化问题数据
    2. 通过反向翻译创建自然语言描述
    3. 通过前向建模和拒绝采样验证自然语言与问题数据的对应关系

数据集组成

OptMATH-Train

  • 数据量: 超过200K个高质量训练实例
  • 覆盖范围: 物流、供应链、制造等多种优化场景
  • 特点: 高质量且多样化

OptMATH-Bench

  • 特点: 挑战性基准测试
  • 特征:
    • 扩展的自然语言上下文(比MAMO EasyLP长2.9倍)
    • 复杂约束条件
    • 覆盖多种问题类型(LP、MILP、IP、NLP、SOCP)

关键特性

  • 可扩展性: 适用于大规模优化建模数据合成
  • 应用覆盖: 通过53个种子生成器覆盖10+实际应用场景
  • 性能: 在多个基准测试中达到最先进水平

实验结果

  • 最佳模型: OptMATH-Qwen2.5-32B
  • 性能表现: 超越GPT-3.5-Turbo、GPT4和Deepseek-V3等专有大语言模型
  • 小模型表现: OptMATH-Qwen2.5-7B优于同规模的ORLM-LLaMA-3-8B

引用

bibtex @inproceedings{Lu2025OptMATHAS, title={OptMATH: A Scalable Bidirectional Data Synthesis Framework for Optimization Modeling}, author={Hongliang Lu and Zhonglin Xie and Yaoyu Wu and Can Ren and Yuxuan Chen and Zaiwen Wen}, year={2025}, url={https://api.semanticscholar.org/CorpusID:276407996} }

联系方式

  • 邮箱: lhl@pku.edu.cn
搜集汇总
数据集介绍
main_image_url
构建方式
OptMATH数据集通过一个双向数据合成框架构建,该框架从种子数学公式生成具有可控复杂性的问题数据,并通过反向翻译生成自然语言描述。随后,通过前向建模和拒绝采样验证自然语言描述与问题数据之间的对应关系。这一过程确保了数据的高质量和多样性,涵盖了物流、供应链、制造等多个优化场景。
使用方法
OptMATH数据集的使用方法主要包括利用OptMATH-Train进行模型训练,以提升模型在优化建模任务中的表现。OptMATH-Bench则用于评估模型在处理复杂优化问题时的能力。用户可以通过Hugging Face平台访问数据集,并使用LLaMAFactory框架进行微调。具体的使用细节和实验结果可参考相关的GitHub页面和论文。
背景与挑战
背景概述
OptMATH数据集由北京大学的研究团队于2025年提出,旨在通过双向数据合成框架生成高质量的优化建模数据集。该数据集的核心研究问题在于如何通过可控的复杂性生成问题数据,并通过自然语言描述与问题数据之间的双向转换,验证其一致性。OptMATH-Train包含超过20万条高质量的优化问题实例,涵盖了物流、供应链、制造等多个实际应用场景。该数据集的发布显著提升了大规模语言模型在优化建模任务中的表现,推动了相关领域的研究进展。
当前挑战
OptMATH数据集在构建过程中面临多重挑战。首先,如何生成具有可控复杂性的优化问题数据,并确保其与实际应用场景的高度契合,是一个关键难题。其次,通过自然语言描述与问题数据的双向转换,验证其一致性,需要高效的建模和采样方法。此外,OptMATH-Bench作为挑战性基准,要求模型能够处理更长的自然语言上下文和复杂的约束条件,这对模型的泛化能力和推理能力提出了更高要求。这些挑战不仅推动了优化建模领域的技术进步,也为大规模语言模型的性能提升提供了新的研究方向。
常用场景
经典使用场景
在优化建模领域,OptMATH-Train和OptMATH-Bench数据集被广泛应用于训练和评估大规模语言模型(LLMs)的优化问题求解能力。通过生成高质量且多样化的优化问题实例,这些数据集为研究者提供了一个标准化的测试平台,用于验证模型在处理复杂约束和多样化问题类型(如线性规划、整数规划等)时的性能。特别是在物流、供应链和制造等实际场景中,数据集的应用显著提升了模型的实际应用能力。
解决学术问题
OptMATH数据集解决了优化建模领域中的关键学术问题,例如如何生成高质量且多样化的优化问题实例,以及如何验证自然语言描述与数学问题之间的对应关系。通过其双向数据合成框架,数据集不仅提升了模型在复杂约束条件下的求解能力,还为研究者提供了一个标准化的基准,用于评估不同模型在优化问题上的表现。这一突破为优化建模领域的研究提供了新的方法论支持。
实际应用
在实际应用中,OptMATH数据集被广泛用于物流、供应链管理和制造等领域的优化问题求解。例如,在物流调度中,数据集生成的复杂约束问题帮助模型优化运输路径和资源分配;在供应链管理中,数据集支持模型进行库存优化和需求预测。这些应用不仅提升了企业的运营效率,还为复杂系统的优化提供了科学依据。
数据集最近研究
最新研究方向
在优化建模领域,OptMATH数据集的最新研究方向聚焦于通过双向数据合成框架生成高质量的训练和基准测试数据。该框架不仅能够从数学公式生成具有可控复杂性的问题数据,还能通过反向翻译生成自然语言描述,并通过前向建模和拒绝采样验证两者之间的对应关系。这一方法显著提升了大规模语言模型在优化问题上的建模能力,尤其是在物流、供应链和制造等多样化应用场景中。OptMATH-Bench作为挑战性基准测试,进一步推动了语言模型在复杂约束和扩展自然语言上下文中的表现。研究表明,使用OptMATH-Train进行训练能够显著提升模型在优化建模任务中的性能,甚至超越参数规模更大的专有模型。这一进展为优化建模领域的研究和应用提供了新的工具和方向。
以上内容由遇见数据集搜集并总结生成
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作