WirelessMathBench

WirelessMathBench是一个专门为评估大型语言模型（LLMs）在无线通信领域的数学建模能力而设计的基准数据集。该数据集包含来自40篇顶尖研究论文的587个精心挑选的问题，涵盖了从基础的多选题到复杂的方程式补全任务，所有问题均严格遵守物理和维度约束。数据集旨在推动更强大、更适应领域的LLMs的发展，用于无线系统分析和更广泛的工程应用。WirelessMathBench is a benchmark dataset specifically designed to evaluate the mathematical modeling capabilities of large language models (LLMs) in the field of wireless communications. This dataset contains 587 carefully selected questions sourced from 40 top-tier research papers, covering tasks ranging from basic multiple-choice questions to complex equation completion tasks, with all questions strictly adhering to physical and dimensional constraints. The dataset aims to promote the development of more powerful, domain-adapted LLMs for wireless system analysis and broader engineering applications.

原始信息汇总

WirelessMathBench 数据集概述

基本信息

• 名称: WirelessMathBench
• 描述: 专为评估大语言模型(LLMs)在无线通信领域数学建模能力设计的基准测试
• 作者: Xin Li, Mengbing Liu, Li Wei, Jiancheng An, Mérouane Debbah, Chau Yuen
• 机构:
  • 南洋理工大学电气与电子工程学院(新加坡)
  • 哈利法大学计算机与信息工程系(阿联酋)
• 发表: ACL 2025 Findings

数据集内容

• 问题数量: 587道精选题目
• 来源: 来自40篇无线通信领域前沿研究论文
• 任务类型:
  • 多选题(MCQs)
  • 渐进式掩码填空(三个掩码级别)
  • 完整方程推导(FEC)
• 主题覆盖:
  • 模型类主题:
    • RIS(19篇论文)
    • MIMO(12篇论文)
    • UAV(6篇论文)
    • ISAC(6篇论文)
    • Satellite(4篇论文)
    • SIM(3篇论文)
    • NOMA(2篇论文)
  • 问题类主题:
    • 波束成形(18篇论文)
    • 信道估计(12篇论文)
    • 性能分析(8篇论文)
    • 轨迹设计(5篇论文)
    • 功率分配(5篇论文)
    • 资源管理(4篇论文)

实验结果

• 最佳平均准确率: 38.05%(DeepSeek-R1)
• 最佳MCQ准确率: 76.00%(DeepSeek-R1)
• 最佳完整方程推导准确率: 7.83%(DeepSeek-R1)

模型性能对比

模型	MCQ	Level 1	Level 2	Level 3	FEC	平均准确率
DeepSeek-R1	76.00%	60.00%	34.91%	12.50%	7.83%	38.05%
OpenAI-o1	66.40%	59.17%	32.17%	8.04%	6.96%	34.55%
DeepSeek-V3	78.40%	50.00%	24.35%	6.25%	6.96%	33.19%
GPT-4o	72.80%	42.50%	28.70%	6.25%	4.35%	30.92%
Gemini-1.5-pro	65.60%	43.33%	29.57%	9.82%	6.09%	30.88%

错误分析(DeepSeek-R1)

• 31%: 部分填充不匹配
• 29%: 符号误解
• 24%: 错误方程推导
• 11%: 无关系统混淆

资源获取

• 论文引用: bibtex @inproceedings{li2025wirelessmathbench, title={WirelessMathBench: A Mathematical Modeling Benchmark for LLMs in Wireless Communications}, author={Li, Xin and Liu, Mengbing and Wei, Li and An, Jiancheng and Debbah, Mérouane and Yuen, Chau}, booktitle={Findings of the Association for Computational Linguistics: ACL 2025}, year={2025} }

• 包含内容:

  • 587道问题的完整数据集
  • 基准测试评估工具包
  • 基线模型参考实现
  • 数据集结构和评估指标文档

搜集汇总

数据集介绍

构建方式

WirelessMathBench数据集的构建过程体现了严谨的学术规范与工程实践的深度融合。研究团队从40篇顶级会议期刊论文中系统提取587个数学建模问题，通过半自动化流程结合专家验证的三阶段筛选机制：首先采用定制化LLM模板从论文中提取系统模型与核心方程，随后由通信领域专家进行符号一致性校验与物理维度审核，最终通过多轮交叉验证确保问题质量。特别值得注意的是，团队创新性地设计了渐进式掩码策略，将每个核心方程分解为多选题、部分掩码填空和全掩码推导三个难度层级，从而构建出具有连续挑战性的任务体系。

特点

该数据集最显著的特征在于其真实的工程复杂性与多粒度评估维度。所有问题均源自最新无线通信研究成果，涵盖MIMO、RIS、NOMA等9大技术场景和波束成形、信道估计等7类核心问题，严格遵循电磁传播定律与矩阵运算维度约束。数据集中32%的问题包含复合矩阵运算，28%需要处理非线性能量约束，19%涉及多阶段符号推导，呈现出专业领域特有的数学建模挑战。特别设计的渐进式任务体系（从基础多选题到全方程推导）可精确诊断模型在不同认知层级的表现，其中全掩码推导任务的平均成功率仅7.83%，显著揭示了当前LLMs在工程数学推理中的局限性。

使用方法

使用该数据集时需要遵循其设计的层次化评估框架。对于基础研究，建议从多选题入手验证模型的基础概念掌握度；进阶研究可采用渐进式掩码任务分析模型的符号推理链条完整性；全方程推导任务适用于评估模型的端到端数学建模能力。评估时需配套使用官方工具包，其内置的维度验证器可自动检测物理量纲一致性，而基于GPT-4o的答案匹配算法能处理数学表达式的语义等价性。值得注意的是，所有实验应保持零样本设置以反映模型原生能力，且需特别关注错误模式分析模块输出的四类典型错误分布（部分匹配错误31%、符号误解29%、推导路径错误24%、系统混淆11%），这些指标对改进模型架构具有重要指导价值。

背景与挑战

背景概述

WirelessMathBench是由新加坡南洋理工大学的Xin Li、Mengbing Liu等研究人员于2025年提出的专业评估基准，旨在测试大语言模型在无线通信领域的数学建模能力。该数据集包含从40篇前沿研究论文中精心筛选的587个问题，涵盖多输入多输出系统、可重构智能表面等核心场景，以及波束成形、信道估计等关键技术挑战。作为首个聚焦无线通信数学推理的基准，其创新性地设计了从基础选择题到完整方程推导的多层次任务结构，为评估语言模型在工程数学领域的真实能力提供了标准化测试平台。

当前挑战

WirelessMathBench面临双重挑战：在领域问题层面，需解决无线通信特有的高维矩阵运算、物理约束保持及多步符号推导等复杂数学建模问题，当前最优模型DeepSeek-R1在完整方程推导任务中准确率仅7.83%；在构建过程中，需克服专业论文的数学表达式提取、维度一致性验证等难题，通过半自动化流程与领域专家验证相结合的方式，确保问题的物理合理性与工程相关性。

常用场景

经典使用场景

WirelessMathBench作为专为无线通信领域设计的数学建模基准，其经典使用场景主要集中在评估大型语言模型（LLMs）在复杂数学推理任务中的表现。通过包含从基础选择题到复杂方程补全的多层次任务，该数据集能够全面测试模型在无线通信系统建模中的符号操作、维度约束和物理可行性验证能力。例如，在MIMO系统信道估计或RIS相位矩阵推导等任务中，模型需结合领域知识完成多步数学推导，这为研究LLMs在专业工程场景下的推理局限性提供了标准化测试平台。

实际应用

在实际应用层面，WirelessMathBench为AI辅助无线系统设计提供了关键验证工具。通信工程师可通过该基准筛选具备可靠数学推导能力的LLMs，用于自动生成波束赋形权重、优化资源分配方程等任务。例如，在6G智能超表面（RIS）配置中，模型需准确重构包含复数相位项的矩阵运算，而该数据集的渐进掩码任务能有效检验此类能力。此外，电信企业可基于基准结果开发领域自适应训练策略，提升LLMs在基站部署、频谱规划等场景的实用价值。

衍生相关工作

该数据集已衍生出多个重要研究方向：首先，TelecomGPT等专用模型通过在该基准上的迭代优化，实现了电信协议代码生成能力的提升；其次，催生了如《U-MATH》等跨学科数学推理基准的构建，推动LLMs在化学、物理等领域的符号计算研究；第三，其渐进掩码评估方法被MLAgentBench等基准借鉴，用于测试模型在机器学习超参数优化中的多步推理能力。值得注意的是，DeepSeek-R1采用的强化学习推理框架正是受WirelessMathBench揭示的维度一致性错误启发而设计。