xywang1/MMC

MMC数据集是一个用于多模态图表理解的大规模数据集，支持多种任务和图表类型。数据集包括三个主要配置：MMC-Instruction、MMC-Benchmark和MMC-Alignment。MMC-Instruction是一个大规模的多模态图表指令数据集，用于训练；MMC-Benchmark是一个全面的人工标注基准，用于测试和评估图表推理能力；MMC-Alignment用于训练图表与文本的对齐任务。此外，该数据集还支持开发Multi-Modal Chart Assistant (MMCA)模型，该模型在现有图表问答基准上取得了最先进的性能。

The MMC dataset is a large-scale instruction tuning dataset for multimodal chart understanding, including three configurations: MMC-Instruction, MMC-Benchmark, and MMC-Alignment. MMC-Instruction supports diverse tasks and chart types, MMC-Benchmark is a comprehensive human-annotated benchmark evaluating reasoning capabilities over charts, and MMC-Alignment is used for training chart-text alignment.

搜集汇总

数据集介绍

构建方式

MMC数据集的构建基于大规模指令微调，旨在提升多模态图表理解能力。该数据集通过整合来自arXiv与非arXiv文本的指令数据（MMC-Instruction），以及构建用于评估推理能力的多模态图表基准（MMC-Benchmark），实现了对多样化任务和图表类型的支持。此外，通过图表文本对齐数据（MMC-Alignment）的引入，强化了数据集在多模态信息融合方面的深度与广度。

特点

本数据集的特点在于其多模态性、多样性与大规模性。它支持多种图表类型和任务，且包含了丰富的人类注释数据，这使得数据集不仅适用于文本生成任务，还能对大型语言模型的图表理解能力进行深入评估。特别是MMC-Benchmark的提出，为评估模型在图表理解方面的性能提供了全面的基准。

使用方法

使用MMC数据集，研究者可以加载训练、测试数据文件，分别进行模型的训练与评估。数据集提供了清晰的数据文件路径与配置名称，如MMC-Instruction、MMC-Benchmark和MMC-Alignment，方便用户根据不同的研究需求选择合适的数据集部分。用户需遵循cc-by-sa-4.0版权协议，并在非商业研究目的下使用该数据集。

背景与挑战

背景概述

在信息可视化领域，多模态图表理解是当前研究的热点之一。xywang1/MMC数据集，创建于2023年，由刘福笑等研究人员开发，旨在推动大规模指令微调在多模态图表理解中的应用。该数据集通过提供多样化的任务和图表类型，支持了文本与图表之间的深入交互理解。其研究成果发表在NAACL 2024上，对促进多模态信息处理技术的发展具有重要意义。

当前挑战

该数据集在构建过程中面临的挑战包括：一是如何设计多样化的任务以涵盖图表理解的各个方面；二是如何创建一个全面的人工标注基准，以评估模型在图表理解上的推理能力。此外，现有的大型语言模型在正确解释图表方面存在局限性，MMC-Benchmark的实验结果揭示了即使是最新一代的GPT-4V模型，在此领域也面临着挑战。

常用场景

经典使用场景

在当前信息化时代，图表理解能力成为人工智能领域的一项重要技能。xywang1/MMC数据集，作为大规模指令调优的多模态图表理解数据集，其经典使用场景主要在于训练大型语言模型以理解和生成与图表相关的文本描述和指令。该数据集通过提供丰富的多模态输入，包括图表和文本，助力模型在图表理解任务中达到前所未有的精准度。

解决学术问题

该数据集解决了多模态理解中的一个关键问题，即在图表与文本结合的场景下，如何提高机器的理解和推理能力。它通过大规模的指令数据，为学术研究提供了深度学习和自然语言处理领域中的新视角，推进了大型语言模型在图表理解方面的性能界限，对于提升模型的多模态交互能力具有显著意义。

衍生相关工作

基于xywang1/MMC数据集的研究已经催生了多项相关工作，如MMCA（多模态图表助手）的构建，它是一种在现有图表问答基准测试中达到最先进性能的语言模型。此外，该数据集还促进了多模态推理能力评估体系的发展，为后续研究提供了宝贵的基准和资源。