ChartCoF

ChartCoF数据集是由微软亚洲研究院创建的高质量推理数据集，包含超过19种图表类型。该数据集旨在为细粒度分析和模型微调提供多样化的复杂推理问答对。通过程序化的函数链探索生成多样化的推理路径，并翻译成自然语言的形式，确保了问题的精确性和多样性。数据集的创建过程避免了依赖于大型模型，使得推理数据生成更加高效。ChartCoF数据集的应用领域是图表理解，旨在解决多模态大型语言模型在处理复杂图表推理任务时的性能不足问题。The ChartCoF dataset is a high-quality reasoning dataset developed by Microsoft Research Asia, encompassing over 19 types of charts. Its core objective is to provide diverse complex reasoning question-answer pairs for fine-grained analysis and model fine-tuning. Diverse reasoning paths are explored and generated through a chain of procedural functions, then translated into natural language, ensuring the accuracy and diversity of the questions. The dataset creation process avoids relying on large-scale models, making the generation of reasoning data more efficient. Focused on the field of chart understanding, the ChartCoF dataset aims to address the performance shortcomings of multimodal large language models when handling complex chart reasoning tasks.

搜集汇总

数据集介绍

构建方式

ChartCoF数据集的构建采用了Chain of Functions (CoF)方法，这是一种基于程序化推理路径的数据生成管道。首先，通过原子函数（如最大值计算和算术操作）的自由探索生成多样化的函数链，随后利用开源的大型语言模型（LLM）将这些函数链转化为语言化的推理过程和问题。这种方法确保了数据的精确性和多样性，减少了幻觉生成，并通过函数链提供了内置的推理路径，支持细粒度的评估。

使用方法

ChartCoF数据集可用于多模态大语言模型的细粒度评估和推理能力增强。用户可以通过微调模型来提升其在复杂推理任务中的表现。数据集提供了丰富的图表类型和问题分类，支持对模型在不同推理路径上的表现进行详细分析。此外，数据集还可用于评估模型在未见图表类型和长推理链任务上的泛化能力。通过使用ChartCoF，用户能够深入理解模型在复杂推理任务中的优势和不足，并针对性地进行模型优化。

背景与挑战

背景概述

ChartCoF数据集由微软研究院和香港科技大学的联合团队于2025年创建，旨在解决多模态大语言模型（MLLMs）在复杂图表推理任务中的性能瓶颈。该数据集通过创新的函数链（Chain of Functions, CoF）生成方法，构建了包含1.4k复杂推理问答和50k推理增强问答的高质量数据集。ChartCoF的核心研究问题是通过程序化的推理路径生成，确保数据的精确性和多样性，从而提升MLLMs在图表理解任务中的推理能力。该数据集涵盖了19种图表类型，提供了细粒度的评估框架，揭示了现有MLLMs在不同推理问题上的性能差异，并通过微调实验证明了其在多个基准测试中的领先表现。

当前挑战

ChartCoF数据集面临的挑战主要体现在两个方面。首先，图表推理任务本身具有较高的复杂性，尤其是在处理需要多步推理的问题时，MLLMs的表现往往不尽如人意。现有的图表推理数据集通常缺乏多样性和精确性，导致模型在复杂推理任务上的泛化能力不足。其次，数据集的构建过程中，如何确保生成的推理路径既精确又多样是一个关键挑战。尽管通过函数链生成方法减少了幻觉现象，但在将函数链转化为自然语言时，仍然存在生成问题或答案不准确的情况。此外，依赖大型语言模型进行数据生成也带来了计算资源和数据扩展性的限制。

常用场景

经典使用场景

ChartCoF数据集在图表推理领域具有广泛的应用，尤其是在多模态大语言模型（MLLMs）的细粒度推理能力评估与增强方面。该数据集通过其独特的函数链生成机制，能够为模型提供多样且精确的推理路径，从而帮助模型在复杂的图表推理任务中表现出色。经典的使用场景包括对图表中的数据进行最大值、最小值、平均值等数值计算，以及对图表中的对象进行过滤、排序和比较等操作。这些任务通常需要模型具备多步推理能力，而ChartCoF通过其丰富的函数链设计，能够有效支持这些复杂的推理过程。

解决学术问题

ChartCoF数据集解决了当前多模态大语言模型在图表推理任务中面临的几个关键学术问题。首先，它通过函数链生成机制，显著减少了模型在推理过程中产生的幻觉问题，确保了推理路径的精确性。其次，该数据集通过枚举多种函数链，生成了多样化的推理问题，覆盖了从简单到复杂的多种推理场景，从而为模型的细粒度评估提供了丰富的数据支持。此外，ChartCoF还通过内置的推理路径，使得模型的推理过程更加可解释，研究者可以通过分析函数链来深入理解模型在不同推理任务中的表现。最后，该数据集减少了对超大规模模型的依赖，使得中等规模的开源模型也能生成高质量的推理数据，推动了图表推理领域的普惠化发展。

实际应用

在实际应用中，ChartCoF数据集可以广泛应用于金融、学术、医疗等领域的图表分析任务。例如，在金融领域，模型可以利用该数据集进行股票市场数据的趋势分析，预测未来的市场走向；在学术领域，研究者可以通过该数据集对科学论文中的图表进行自动解析，提取关键数据并生成相应的推理结果；在医疗领域，模型可以利用该数据集对医疗数据图表进行分析，辅助医生进行疾病诊断和治疗方案的制定。此外，ChartCoF还可以用于教育领域，帮助学生理解和分析复杂的图表数据，提升他们的数据分析和推理能力。

数据集最近研究

最新研究方向

近年来，随着多模态大语言模型（MLLMs）在视觉推理任务中的广泛应用，ChartCoF数据集的研究方向主要集中在如何通过程序化的推理路径生成高质量的多模态数据，以提升模型在复杂图表理解任务中的表现。ChartCoF通过引入函数链（Chain of Functions, CoF）的生成方法，确保了数据的精确性和多样性。具体而言，CoF通过原子函数的自由探索生成多样化的函数链，并将其转化为自然语言的推理路径和问题，从而避免了传统直接提示方法中的低精度和低多样性问题。这一方法不仅减少了幻觉现象，还提供了内置的推理路径，使得模型能够在细粒度的问题分类上进行更精确的评估。此外，ChartCoF数据集的研究还揭示了现有MLLMs在不同问题分类上的性能差异，并通过微调实验证明了其在多个基准测试中的领先性能。这一研究范式不仅适用于图表理解，还可能启发其他需要逐步推理的任务，如数学问答和图形用户界面任务。

相关研究论文

• Chain of Functions: A Programmatic Pipeline for Fine-Grained Chart Reasoning Data

  微软亚洲研究院 · 2025年