WirelessMathBench|无线通信数据集|数学模型评估数据集

WirelessMathBench是一个专门为评估大型语言模型（LLMs）在无线通信领域的数学建模能力而设计的基准数据集。该数据集包含来自40篇顶尖研究论文的587个精心挑选的问题，涵盖了从基础的多选题到复杂的方程式补全任务，所有问题均严格遵守物理和维度约束。数据集旨在推动更强大、更适应领域的LLMs的发展，用于无线系统分析和更广泛的工程应用。

原始信息汇总

WirelessMathBench 数据集概述

基本信息

• 名称: WirelessMathBench
• 描述: 专为评估大语言模型(LLMs)在无线通信领域数学建模能力设计的基准测试
• 作者: Xin Li, Mengbing Liu, Li Wei, Jiancheng An, Mérouane Debbah, Chau Yuen
• 机构:
  • 南洋理工大学电气与电子工程学院(新加坡)
  • 哈利法大学计算机与信息工程系(阿联酋)
• 发表: ACL 2025 Findings

数据集内容

• 问题数量: 587道精选题目
• 来源: 来自40篇无线通信领域前沿研究论文
• 任务类型:
  • 多选题(MCQs)
  • 渐进式掩码填空(三个掩码级别)
  • 完整方程推导(FEC)
• 主题覆盖:
  • 模型类主题:
    • RIS(19篇论文)
    • MIMO(12篇论文)
    • UAV(6篇论文)
    • ISAC(6篇论文)
    • Satellite(4篇论文)
    • SIM(3篇论文)
    • NOMA(2篇论文)
  • 问题类主题:
    • 波束成形(18篇论文)
    • 信道估计(12篇论文)
    • 性能分析(8篇论文)
    • 轨迹设计(5篇论文)
    • 功率分配(5篇论文)
    • 资源管理(4篇论文)

实验结果

• 最佳平均准确率: 38.05%(DeepSeek-R1)
• 最佳MCQ准确率: 76.00%(DeepSeek-R1)
• 最佳完整方程推导准确率: 7.83%(DeepSeek-R1)

模型性能对比

模型	MCQ	Level 1	Level 2	Level 3	FEC	平均准确率
DeepSeek-R1	76.00%	60.00%	34.91%	12.50%	7.83%	38.05%
OpenAI-o1	66.40%	59.17%	32.17%	8.04%	6.96%	34.55%
DeepSeek-V3	78.40%	50.00%	24.35%	6.25%	6.96%	33.19%
GPT-4o	72.80%	42.50%	28.70%	6.25%	4.35%	30.92%
Gemini-1.5-pro	65.60%	43.33%	29.57%	9.82%	6.09%	30.88%

错误分析(DeepSeek-R1)

• 31%: 部分填充不匹配
• 29%: 符号误解
• 24%: 错误方程推导
• 11%: 无关系统混淆

资源获取

• 论文引用: bibtex @inproceedings{li2025wirelessmathbench, title={WirelessMathBench: A Mathematical Modeling Benchmark for LLMs in Wireless Communications}, author={Li, Xin and Liu, Mengbing and Wei, Li and An, Jiancheng and Debbah, Mérouane and Yuen, Chau}, booktitle={Findings of the Association for Computational Linguistics: ACL 2025}, year={2025} }

• 包含内容:

  • 587道问题的完整数据集
  • 基准测试评估工具包
  • 基线模型参考实现
  • 数据集结构和评估指标文档

AI搜集汇总

数据集介绍

构建方式

WirelessMathBench数据集的构建过程体现了严谨的学术规范与工程实践的深度融合。研究团队从40篇顶级会议期刊论文中系统提取587个数学建模问题，通过半自动化流程结合专家验证的三阶段筛选机制：首先采用定制化LLM模板从论文中提取系统模型与核心方程，随后由通信领域专家进行符号一致性校验与物理维度审核，最终通过多轮交叉验证确保问题质量。特别值得注意的是，团队创新性地设计了渐进式掩码策略，将每个核心方程分解为多选题、部分掩码填空和全掩码推导三个难度层级，从而构建出具有连续挑战性的任务体系。

特点

该数据集最显著的特征在于其真实的工程复杂性与多粒度评估维度。所有问题均源自最新无线通信研究成果，涵盖MIMO、RIS、NOMA等9大技术场景和波束成形、信道估计等7类核心问题，严格遵循电磁传播定律与矩阵运算维度约束。数据集中32%的问题包含复合矩阵运算，28%需要处理非线性能量约束，19%涉及多阶段符号推导，呈现出专业领域特有的数学建模挑战。特别设计的渐进式任务体系（从基础多选题到全方程推导）可精确诊断模型在不同认知层级的表现，其中全掩码推导任务的平均成功率仅7.83%，显著揭示了当前LLMs在工程数学推理中的局限性。

使用方法

使用该数据集时需要遵循其设计的层次化评估框架。对于基础研究，建议从多选题入手验证模型的基础概念掌握度；进阶研究可采用渐进式掩码任务分析模型的符号推理链条完整性；全方程推导任务适用于评估模型的端到端数学建模能力。评估时需配套使用官方工具包，其内置的维度验证器可自动检测物理量纲一致性，而基于GPT-4o的答案匹配算法能处理数学表达式的语义等价性。值得注意的是，所有实验应保持零样本设置以反映模型原生能力，且需特别关注错误模式分析模块输出的四类典型错误分布（部分匹配错误31%、符号误解29%、推导路径错误24%、系统混淆11%），这些指标对改进模型架构具有重要指导价值。

背景与挑战

背景概述

WirelessMathBench是由新加坡南洋理工大学的Xin Li、Mengbing Liu等研究人员于2025年提出的专业评估基准，旨在测试大语言模型在无线通信领域的数学建模能力。该数据集包含从40篇前沿研究论文中精心筛选的587个问题，涵盖多输入多输出系统、可重构智能表面等核心场景，以及波束成形、信道估计等关键技术挑战。作为首个聚焦无线通信数学推理的基准，其创新性地设计了从基础选择题到完整方程推导的多层次任务结构，为评估语言模型在工程数学领域的真实能力提供了标准化测试平台。

当前挑战

WirelessMathBench面临双重挑战：在领域问题层面，需解决无线通信特有的高维矩阵运算、物理约束保持及多步符号推导等复杂数学建模问题，当前最优模型DeepSeek-R1在完整方程推导任务中准确率仅7.83%；在构建过程中，需克服专业论文的数学表达式提取、维度一致性验证等难题，通过半自动化流程与领域专家验证相结合的方式，确保问题的物理合理性与工程相关性。

常用场景

经典使用场景

WirelessMathBench作为专为无线通信领域设计的数学建模基准，其经典使用场景主要集中在评估大型语言模型（LLMs）在复杂数学推理任务中的表现。通过包含从基础选择题到复杂方程补全的多层次任务，该数据集能够全面测试模型在无线通信系统建模中的符号操作、维度约束和物理可行性验证能力。例如，在MIMO系统信道估计或RIS相位矩阵推导等任务中，模型需结合领域知识完成多步数学推导，这为研究LLMs在专业工程场景下的推理局限性提供了标准化测试平台。

实际应用

在实际应用层面，WirelessMathBench为AI辅助无线系统设计提供了关键验证工具。通信工程师可通过该基准筛选具备可靠数学推导能力的LLMs，用于自动生成波束赋形权重、优化资源分配方程等任务。例如，在6G智能超表面（RIS）配置中，模型需准确重构包含复数相位项的矩阵运算，而该数据集的渐进掩码任务能有效检验此类能力。此外，电信企业可基于基准结果开发领域自适应训练策略，提升LLMs在基站部署、频谱规划等场景的实用价值。

衍生相关工作

该数据集已衍生出多个重要研究方向：首先，TelecomGPT等专用模型通过在该基准上的迭代优化，实现了电信协议代码生成能力的提升；其次，催生了如《U-MATH》等跨学科数学推理基准的构建，推动LLMs在化学、物理等领域的符号计算研究；第三，其渐进掩码评估方法被MLAgentBench等基准借鉴，用于测试模型在机器学习超参数优化中的多步推理能力。值得注意的是，DeepSeek-R1采用的强化学习推理框架正是受WirelessMathBench揭示的维度一致性错误启发而设计。