ChartQAPro

ChartQAPro是一个多样化的、具有挑战性的图表问题回答基准数据集，包含了来自157个不同来源的1341个图表，以及1948个各种类型的问题，旨在提高图表理解和推理任务的难度。

ChartQAPro is a diverse and challenging benchmark dataset for chart question answering, encompassing 1,341 charts from 157 distinct sources and 1,948 questions across multiple types, with the objective of elevating the difficulty of chart understanding and reasoning tasks.

搜集汇总

数据集介绍

构建方式

ChartQAPro数据集的构建过程体现了对现实世界图表多样性的深度考量。研究团队从157个不同来源精心收集了1,341张图表，涵盖信息图、仪表盘等多种类型，确保数据来源的广泛性和代表性。在问题设计方面，团队构建了1,948个涵盖多选题、对话式问题、假设性问题及无解问题等多种类型的问题集，这些问题经过精心设计以模拟真实场景中的复杂推理需求。每个数据样本都包含图表图像、问题文本、答案、问题类型及上下文段落等结构化信息，为模型训练提供了丰富的多模态学习素材。

特点

该数据集最显著的特点是其在复杂性和多样性方面的突破性设计。与现有基准相比，ChartQAPro包含了更丰富的图表类型和更具挑战性的问题形式，特别是引入了对话式推理和假设性场景等新颖题型。数据集中的图表来源于真实世界的多元场景，包括商业报表、学术研究和新闻媒体等不同领域，这种多样性显著提升了模型的泛化能力测试难度。评估结果显示，即使是Claude Sonnet 3.5等先进大模型在该数据集上的表现也较传统基准下降了近35个百分点，充分证明了其作为评估基准的严格性。

使用方法

研究人员可通过HuggingFace平台直接下载ChartQAPro数据集，其标准化的数据结构便于快速集成到现有实验流程中。数据集采用二进制格式存储图表图像，同时提供结构化的文本标注，支持视觉语言模型的端到端训练。官方GitHub仓库提供了详细的评估指南和基准代码，建议用户遵循标准评估协议以确保结果可比性。对于新型模型的测试，需特别注意处理数据集中特有的无解问题和多轮对话等挑战性任务，这些设计要素对全面评估模型性能至关重要。

背景与挑战

背景概述

ChartQAPro数据集由Ahmed Masry等研究人员于2025年提出，旨在解决图表问答（CQA）领域中现有基准测试多样性不足和性能饱和的问题。该数据集由来自157个不同来源的1,341张图表组成，涵盖了多种图表类型，包括信息图和仪表盘，并包含1,948个多样化的问题类型，如多项选择、对话式、假设性和不可回答的问题。ChartQAPro的推出显著提升了图表问答任务的复杂性，为大型视觉语言模型（LVLMs）的评估提供了更具挑战性的基准。该数据集的研究成果发表在arXiv预印本上，对推动图表理解和推理领域的发展具有重要意义。

当前挑战

ChartQAPro数据集在解决图表问答领域的挑战方面表现出色，但也面临诸多难题。首先，现有基准测试如ChartQA在真实世界多样性上的不足导致模型性能评估不够全面。其次，构建过程中需处理多种图表类型和复杂问题形式，这对数据收集和标注提出了更高要求。此外，大型视觉语言模型在ChartQAPro上的性能显著下降，例如Claude Sonnet 3.5的准确率从ChartQA的90.5%降至ChartQAPro的55.81%，凸显了图表推理任务的复杂性。这些挑战为未来研究提供了方向，包括提升模型的图表理解和推理能力，以及优化数据集的多样性和复杂性。

常用场景

经典使用场景

在数据可视化领域，ChartQAPro数据集为图表问答系统提供了多样化的评估基准。该数据集包含来自157个不同来源的1,341张图表，涵盖了多种图表类型和问题形式，如多选题、对话式问题和假设性问题。研究人员利用这一数据集，能够全面评估模型在复杂图表理解任务中的表现，特别是在处理真实世界场景中的多样化图表时。

实际应用

在实际应用中，ChartQAPro数据集能够支持开发更智能的图表分析工具，广泛应用于商业智能、数据新闻和教育领域。例如，企业可以利用基于该数据集训练的模型，快速从复杂的仪表盘图表中提取关键洞察；教育工作者则可以借助这些工具，帮助学生更好地理解和分析数据可视化内容。

衍生相关工作

围绕ChartQAPro数据集，研究社区已经展开了一系列相关工作，主要集中在提升大型视觉语言模型在图表理解任务中的性能。这些工作包括开发新的预训练策略、设计更高效的图表解析算法，以及探索多模态融合技术。该数据集的发布为这些研究提供了统一的评估标准，促进了领域内的协作与创新。