huiyeruzhou/MathVerse-lmmseval

MathVerse是一个全面的视觉数学基准测试，旨在公平且深入地评估多模态大语言模型（MLLMs）的能力。该数据集收集了2,612个高质量、多学科的数学问题，并通过人工注释将其转换为六个不同版本，每个版本在多模态信息内容上有所不同，总共生成了15K个测试样本。通过这种方式，MathVerse能够全面评估MLLMs是否以及如何真正理解视觉图表以进行数学推理。此外，还提出了Chain-of-Thought (CoT)评估策略，用于细粒度评估模型的推理过程。