five

MathBook-Standard & MathBook-Pro

收藏
arXiv2025-08-14 更新2025-08-16 收录
下载链接:
https://matnz.github.lo
下载链接
链接失效反馈
官方服务:
资源简介:
MathBook是一个包含数学知识的系统,由五级层次结构组成,包括491个知识点和1819个基本原理。在此基础上,我们开发了MathBook-Standard数据集,它具有广泛的覆盖范围和灵活性,并通过双重扩展确保了概念上的平衡。此外,我们还定义了一个三维难度空间,并为每个问题生成了7个渐进的变体,以构建MathBook-Pro,这是一个具有挑战性的数据集,用于稳健的训练。MathBook-Standard和MathBook-Pro数据集结合了全面的逐级注释、双重扩展的概念灵活性和原则性的三维难度建模框架,为MLLMs的结构化、渐进式学习奠定了坚实的基础。

MathBook is a mathematics knowledge system structured with a five-level hierarchy, encompassing 491 knowledge points and 1819 fundamental principles. Building upon this foundation, we developed the MathBook-Standard dataset, which boasts extensive coverage and flexibility, and ensures conceptual balance via dual expansion. Furthermore, we defined a three-dimensional difficulty space, and generated 7 progressive variants for each question to construct MathBook-Pro, a challenging dataset tailored for robust training. Combining comprehensive hierarchical annotations, the conceptual flexibility derived from dual expansion, and a principled three-dimensional difficulty modeling framework, both MathBook-Standard and MathBook-Pro datasets lay a solid foundation for the structured and progressive learning of MLLMs.
提供机构:
北京邮电大学, 腾讯微信视觉, 清华大学
创建时间:
2025-08-14
搜集汇总
数据集介绍
构建方式
MathBook-Standard & MathBook-Pro数据集的构建采用了多维度、系统化的方法。首先,基于五层级的数学知识体系(涵盖491个知识点和1,819个基本原理),通过人机协作方式整合权威教材与AI聚类结果。数据集核心通过GeoGebra软件精确生成几何图形,采用双扩展策略:'单问题多图像'通过参数化生成几何变体保持语义一致性,'单图像多问题'则基于同一图形设计不同知识点的提问。针对MathBook-Pro,创新性地建立三维难度空间(步骤复杂度、视觉复杂度、上下文复杂度),每个种子问题系统扩展为7个渐进难度变体。所有数据均经过专家团队与GPT-4o协同标注,确保知识标签与解题步骤的精确映射。
特点
该数据集具有三大核心特征:知识体系化方面,首创五层级数学知识框架,实现从定义、定理到应用的完整覆盖,每个问题均标注至原理级粒度。数据多样性方面,通过双扩展策略构建16,000+问题变体,覆盖几何、代数等13个子领域,特别强化了传统数据集中 underrepresented 的数学领域。难度建模方面,MathBook-Pro的三维难度空间突破人类学习阶段标注范式,基于模型认知特性设计渐进式挑战,其中视觉复杂度通过GeoGebra添加辅助元素实现,上下文复杂度则通过现实场景嵌入提升语义需求。
使用方法
数据集支持多阶段模型训练范式:在预训练阶段,建议采用知识感知的监督微调(SFT),利用MathBook-Standard的链式推理标注引导模型建立知识体系认知。强化学习阶段,可结合MathBook-Pro的难度梯度,实施课程学习策略——先基于平均奖励机制进行预对齐训练,再通过动态调度(知识增量调度与模态增量调度)逐步提升难度。评估时推荐使用配套的MathBookEval基准,其1,000道题目全面覆盖491个知识点,支持按推理步长(1-3步至7-10步)和知识域进行细粒度性能分析。对于视觉-语言联合建模,建议特别关注几何类问题的跨模态对齐训练。
背景与挑战
背景概述
MathBook-Standard & MathBook-Pro是由BUPT、WeChat Vision、Tencent Inc.和Tsinghua University的研究团队于2025年8月发布的多模态数学推理数据集。该数据集旨在解决多模态大语言模型(MLLMs)在复杂数学推理任务中的不足,特别是视觉数学问题求解中的泛化能力问题。数据集的核心贡献包括构建了一个五层级的数学知识体系,涵盖491个知识点和1,819个基本原理,并通过双重扩展和三维难度建模生成了多样化的数学问题。MathBook-Standard确保了广泛的概念覆盖和灵活性,而MathBook-Pro则通过渐进式变体提供了更具挑战性的训练数据。这一数据集在推动多模态数学推理研究方面具有重要影响力,为模型训练和评估提供了系统化的资源。
当前挑战
MathBook-Standard & MathBook-Pro面临的挑战主要包括两个方面:1) 领域问题的挑战:现有的多模态数学推理数据集在知识点覆盖和领域多样性上存在局限,导致模型在不同数学子领域表现不均。此外,模型在解决复杂问题后,往往在对应的子问题或同类任务上表现不佳,反映出当前训练方法更侧重于问题记忆而非推理能力的培养。2) 构建过程的挑战:数据集构建过程中需要精确标注每个问题的知识点和基本原理,确保问题与数学本质严格对应,避免依赖表面视觉线索。同时,通过GeoGebra软件手动生成高质量图像,确保几何构造的严谨性和复杂性,这一过程耗时且需要专业知识。此外,三维难度建模(步骤复杂性、视觉复杂性和上下文复杂性)的设计和实施也增加了数据集的构建难度。
常用场景
经典使用场景
MathBook-Standard & MathBook-Pro数据集在视觉数学推理领域具有广泛的应用场景,特别是在多模态大语言模型(MLLMs)的训练与评估中。该数据集通过精心设计的几何图形和数学问题,为模型提供了丰富的视觉和文本输入,使其能够在解决复杂数学问题时进行多模态推理。经典使用场景包括模型在几何问题求解、代数表达式解析以及概率统计计算等方面的能力测试。
解决学术问题
MathBook-Standard & MathBook-Pro数据集解决了当前视觉数学推理研究中的几个关键学术问题。首先,它填补了现有数据集中数学知识覆盖不全面的空白,通过五级层次结构系统化地组织了491个知识点和1,819个基本原理。其次,数据集通过三维难度建模(步骤复杂性、视觉复杂性和上下文复杂性)解决了模型在难度适应性上的不足。此外,数据集强调了推理泛化能力,避免了模型对问题的简单记忆,从而提升了其在实际应用中的表现。
衍生相关工作
MathBook-Standard & MathBook-Pro数据集衍生了一系列经典研究工作,特别是在多模态数学推理和强化学习领域。例如,基于该数据集开发的MathBook-RL框架通过两阶段强化学习显著提升了模型的推理能力。此外,数据集还催生了MathBookEval评估基准,全面覆盖了491个知识点的多样性推理步骤分布。其他相关研究还包括MAVIS和Math-LLaVA等模型,这些工作进一步推动了视觉数学推理领域的发展。
以上内容由遇见数据集搜集并总结生成
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作