MathCanvas

MathCanvas是一个旨在为大型多模态模型（LMM）赋予内在视觉思维链（VCoT）能力的框架，用于解决复杂的数学推理问题。该框架分为两个阶段：视觉操作和战略视觉辅助推理。在视觉操作阶段，模型通过在包含1000万对数据的大型语料库上进行预训练，学习如何生成和编辑数学图表。在战略视觉辅助推理阶段，模型学习如何将图表操作与文本推理步骤交错进行。此外，还引入了MathCanvas-Bench测试集，包含3000个问题，用于严格评估模型在视觉文本数学推理方面的能力。

MathCanvas is a framework designed to endow large multimodal models (LMMs) with inherent visual chain-of-thought (VCoT) capabilities for solving complex mathematical reasoning problems. The framework comprises two stages: visual manipulation and strategic visual-aided reasoning. In the visual manipulation stage, the model learns to generate and edit mathematical diagrams through pre-training on a large corpus containing 10 million data pairs. In the strategic visual-aided reasoning stage, the model learns to interleave diagram manipulation with textual reasoning steps. Additionally, the MathCanvas-Bench benchmark test set, which includes 3000 questions, is introduced for rigorous evaluation of models' visual-textual mathematical reasoning abilities.

搜集汇总

数据集介绍

构建方式

MathCanvas数据集通过精心设计的双阶段构建流程实现其核心价值。在视觉操作阶段，研究团队创建了包含1520万对样本的预训练语料库，其中MathCanvas-Edit通过结合竞赛级几何问题挖掘与程序化合成生成的混合流程，构建了520万步图表编辑轨迹；MathCanvas-Imagen则整合了来自多个来源的1000万对图文描述数据，涵盖基础几何图形到复杂数学图示。在战略推理阶段，团队从63.2万道多模态数学问题中经过多轮严格筛选，最终构建了包含21.9万个训练样本的MathCanvas-Instruct数据集，每个样本都包含交错的视觉-文本推理路径。

特点

该数据集最显著的特征在于其首创的视觉思维链机制，突破了传统文本推理的局限。数据集中的每个数学问题解决方案都采用图文交错的形式呈现，模拟人类在解决复杂数学问题时构建和修改视觉辅助工具的自然过程。数据覆盖范围广泛，包含中学到竞赛级别的几何、代数、三角学等多个数学分支，且每个视觉步骤都经过严格的几何正确性验证。特别值得注意的是，数据集中的图表编辑轨迹展现了从基础构造到复杂辅助线绘制的完整演进过程，为模型学习战略性的视觉推理提供了丰富素材。

使用方法

MathCanvas数据集的使用遵循明确的两阶段训练范式。研究者在视觉操作阶段首先利用MathCanvas-Edit和MathCanvas-Imagen对模型的生成专家进行预训练，专注于培养图表生成和编辑的基础能力，此阶段冻结理解路径以保留原有推理技能。在战略视觉辅助推理阶段，整个模型在MathCanvas-Instruct上进行微调，学习在文本推理过程中智能地插入视觉生成操作。模型通过特殊的视觉起始标记来决策何时启动绘图，同时处理输入图像的清洁编码和输出图像的噪声编码，通过修正流损失和交叉熵损失的联合优化，最终实现视觉与文本推理的自然交织。

背景与挑战

背景概述

MathCanvas数据集由香港中文大学多媒体实验室与华为研究院于2025年联合发布，聚焦于多模态数学推理中的视觉思维链技术。该数据集旨在解决大语言模型在几何、函数分析等依赖视觉辅助的数学领域中存在的推理局限性，通过构建包含1520万图表生成与编辑轨迹的预训练语料及21.9万指令微调样本，首次实现了原生视觉推理与文本推导的深度融合。其创新性框架推动了多模态模型在复杂数学问题求解中的范式转变，为几何证明、代数可视化等任务提供了标准化的评估基准。

当前挑战

该数据集核心挑战体现在领域问题与构建过程两个维度。在领域层面，需突破传统文本链式推理对几何关系建模的瓶颈，解决模型生成高保真数学图表时存在的几何失真问题，例如早期模型生成的辅助线违反平行公设导致推导失败。构建过程中面临数据稀缺性与逻辑一致性的双重挑战：一方面需通过混合流水线融合竞赛级几何问题与程序化合成数据，确保编辑轨迹覆盖从基础作图到复杂构造的完整谱系；另一方面必须建立严格的几何约束验证机制，过滤包含角度矛盾或长度悖论的无效图示，保障视觉推理链的数学严谨性。

常用场景

经典使用场景

在数学推理领域，MathCanvas数据集为多模态大模型提供了视觉思维链的训练基础。该数据集通过219K个交错视觉-文本推理路径的实例，教导模型在解决几何问题时如何适时生成辅助图形。例如在证明三角形全等定理时，模型能够自主绘制角平分线和中垂线，将抽象的逻辑推理转化为直观的图形演绎过程。这种内在的视觉思维链能力使得模型能够像人类数学家那样，通过图形构建来发现证明思路。

实际应用

在实际教育场景中，MathCanvas驱动的智能辅导系统能够动态生成解题示意图，帮助学生理解复杂的空间几何关系。在数学竞赛培训中，系统可以演示多种辅助线的构造方法，揭示不同证明路径的优劣。对于函数分析类问题，模型能实时绘制函数图像与坐标变换，使抽象的代数概念具象化。这种能力还可延伸至工程制图领域，辅助设计师进行三维几何结构的可视化推演，大大提升设计效率与准确性。

衍生相关工作

基于MathCanvas的创新范式，研究者开发了BAGEL-Canvas模型，在MathCanvas-Bench上实现86%的相对性能提升。这一突破催生了MAVIS数据引擎的优化，推动了TR-CoT在几何推理上的进展。后续工作如Zebra-CoT将视觉思维链扩展至空间游戏领域，而Nano-Banana则探索了更精细的视觉推理策略。这些衍生研究共同构建起多模态推理的技术生态，为人工智能在STEM教育、自动定理证明等领域的应用奠定坚实基础。