MME-CoT

MME-CoT是一个专门用于评估大型多模态模型中Chain-of-Thought推理性能的基准，涵盖了数学、科学、光学字符识别、逻辑、时空和一般场景六个领域。该数据集由精心策划的高质量数据组成，并经过严格的人工验证，为社区提供了一个用于多模态推理的高质量评估数据集。

MME-CoT is a benchmark specifically designed to evaluate Chain-of-Thought (CoT) reasoning performance in large multimodal models, covering six domains: mathematics, science, optical character recognition (OCR), logic, spatio-temporal reasoning, and general scenarios. Composed of carefully curated high-quality data and validated through strict manual review, this dataset provides the research community with a high-quality evaluation resource for multimodal reasoning tasks.

搜集汇总

数据集介绍

构建方式

MME-CoT数据集的构建采用了细致的数据收集和人工验证过程。数据集涵盖了六个主要领域，包括数学、科学、OCR、逻辑、时空和一般场景，共计1,130个问题。数据集的构建过程包括两个阶段：首先，利用大型多模态模型（LMMs）对问题进行初步分类，然后由专家标注人员对每个问题进行最终分类。为了评估思维链（CoT）的质量，研究人员提供了关键步骤的标注和参考图像描述。此外，为了提高标注效率，研究人员首先利用GPT-4o生成答案理由和图像描述，然后由标注人员进行关键中间步骤的标注。在标注过程中，对于有多种解决方案的问题，标注人员需要提供所有可能的方法。

特点

MME-CoT数据集的特点在于其全面性和专业性。它不仅包括了广泛的视觉推理场景，而且还引入了一个全面的CoT评估套件，该套件深入分析了LMMs的CoT过程，评估了推理质量、鲁棒性和效率。MME-CoT数据集的独特之处在于其细粒度的评估方法，包括三个新颖的指标：召回率、精确率和相关率。这些指标能够全面评估CoT过程中的信息丰富性、准确性和相关性。此外，MME-CoT数据集还首次探讨了CoT在视觉推理中的鲁棒性，并引入了两个任务类别（感知和推理）以及两种不同的提示策略（直接回答和逐步推理），以评估CoT在感知任务中的稳定性和在推理任务中的有效性。

使用方法

MME-CoT数据集的使用方法涉及对CoT推理能力的评估。研究人员首先将问题分为感知任务和推理任务，并采用两种提示策略（直接回答和逐步推理）来评估模型的表现。在评估CoT质量时，研究人员利用GPT-4o将预测结果分为一系列步骤，并评估每个步骤的正确性。为了评估CoT的鲁棒性，研究人员比较了直接提示和CoT提示在感知任务和推理任务上的性能差异。最后，为了评估CoT的效率，研究人员利用GPT-4o确定所有相关步骤，并分析每个反射步骤是否有助于提高答案的准确性。通过这些评估方法，研究人员能够全面了解LMMs的推理能力，并为未来多模态推理的发展提供有价值的见解。

背景与挑战

背景概述

MME-CoT数据集是一项专门评估大型多模态模型（LMMs）中思维链（CoT）推理性能的基准测试。该数据集由香港中文大学MMLab等研究机构创建，旨在系统地评估和深入调查CoT推理对LMMs的影响。MME-CoT涵盖了六个领域：数学、科学、OCR、逻辑、时空和一般场景。作为该领域首个全面研究，MME-CoT提出了一个彻底的评估套件，包括三个新颖的指标，用于评估推理质量、鲁棒性和效率。该数据集通过精心策划的高质量数据和独特的评估策略，对最先进的LMMs进行了深入分析，揭示了几个关键见解。

当前挑战

MME-CoT数据集面临的主要挑战包括：1) 模型在推理任务上的表现与感知任务上的表现之间的权衡；2) CoT推理过程中产生的冗余信息和无效反思对推理效率的影响；3) 模型在处理复杂推理任务时，如何有效利用视觉信息进行推理。此外，MME-CoT还需要进一步研究和改进其评估指标，以更全面地反映LMMs的推理能力。

常用场景

经典使用场景

MME-CoT 数据集主要用于评估大型多模态模型（LMMs）在推理质量、鲁棒性和效率方面的链式思维（CoT）推理能力。它涵盖了数学、科学、光学字符识别（OCR）、逻辑、时空和一般场景六个领域，为研究人员提供了一个全面的评估框架，以深入了解LMMs的推理过程。

衍生相关工作

MME-CoT 数据集的提出衍生了一系列相关研究。例如，研究人员可以基于该数据集开发新的推理算法和模型，以提高LMMs在解决复杂问题时的准确性和效率。此外，该数据集还可以用于评估和比较不同LMMs的推理能力，从而推动多模态推理技术的发展。

数据集最近研究

最新研究方向

MME-CoT数据集的最新研究方向集中在大型多模态模型（LMMs）中的思维链（CoT）推理性能评估。该数据集首次对LMMs的CoT推理性能进行了系统性的评估和深入的调查，涵盖了数学、科学、OCR、逻辑、时空和通用场景六个领域。研究结果表明，具有反思机制模型的CoT质量表现出色，其中Kimi k1.5优于GPT-4o，并显示出最高的质量结果。此外，研究发现CoT提示通常会导致LMMs在感知任务上的性能下降，表明过度思考行为可能是有害的。尽管CoT质量高，但具有反思能力的LMMs在正常响应和自我纠正阶段都表现出显著的低效率。MME-CoT有望为推进LMMs中的多模态推理提供基础。

相关研究论文

• MME-CoT: Benchmarking Chain-of-Thought in Large Multimodal Models for Reasoning Quality, Robustness, and Efficiency

  中文大学机械与力学实验室 · 2025年