ChartQAPro

ChartQAPro是一个更多样化和更具挑战性的图表问答基准数据集。

ChartQAPro is a more diverse and more challenging chart-based question answering benchmark dataset.

原始信息汇总

ChartQAPro 数据集概述

数据集基本信息

• 名称: ChartQAPro
• 描述: 一个更多样化和更具挑战性的图表问答基准数据集
• 托管平台: Hugging Face
• 数据集地址: https://huggingface.co/datasets/ahmed-masry/ChartQAPro

数据集特点

• 多样性: 包含多种问题类型（如Factoid、MCQ等）
• 挑战性: 设计用于评估模型在复杂图表问答任务中的性能

评估方法

• 预测文件格式: JSON格式，需包含以下字段：
  • "Answer": 真实答案
  • "Question Type": 问题类型
  • "Year": 用于评估基于年份的答案
  • "prediction": 模型预测答案
• 依赖库: anls 和 pandas
• 评估脚本: 使用evaluate_predictions.py进行评估

联系方式

• 联系人: Ahmed Masry
• 邮箱:
  • [e-mail]
  • [e-mail]
  • [e-mail]

引用信息

bibtex @misc{masry2025chartqaprodiversechallengingbenchmark, title={ChartQAPro: A More Diverse and Challenging Benchmark for Chart Question Answering}, author={Ahmed Masry and Mohammed Saidul Islam and Mahir Ahmed and Aayush Bajaj and Firoz Kabir and Aaryaman Kartha and Md Tahmid Rahman Laskar and Mizanur Rahman and Shadikur Rahman and Mehrad Shahmohammadi and Megh Thakkar and Md Rizwan Parvez and Enamul Hoque and Shafiq Joty}, year={2025}, eprint={2504.05506}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2504.05506}, }

搜集汇总

数据集介绍

构建方式

在图表问答领域，ChartQAPro数据集的构建采用了多样化的设计策略，通过整合多种图表类型和复杂问题形式，构建了一个更具挑战性的评估基准。数据集涵盖了事实型、多选题等多种问题类型，并特别设计了年份相关的问答对，以增强时序推理能力。构建过程中严格遵循数据标注规范，确保问题与答案的准确性和多样性。

特点

ChartQAPro以其高度的多样性和复杂性著称，问题类型覆盖广泛，从基础的事实查询到需要多步推理的复杂问题，充分考验模型的综合能力。数据集特别引入了年份相关的问答对，进一步提升了时序推理的挑战性。其评估指标科学严谨，能够全面反映模型在不同类型问题上的表现。

使用方法

使用ChartQAPro进行评估时，需将模型预测结果按照指定JSON格式保存，包含真实答案、问题类型、年份标记及模型预测四个关键字段。通过官方提供的评估脚本，可一键生成模型在各问题类型上的详细表现。评估过程依赖anls和pandas库，确保指标计算与论文标准一致，为研究者提供可靠的性能对比基准。

背景与挑战

背景概述

ChartQAPro数据集由Ahmed Masry等研究人员于2025年提出，旨在为图表问答领域提供一个更具多样性和挑战性的基准测试。该数据集由多个研究机构合作开发，包括约克大学和科克大学等，其核心研究问题聚焦于提升模型在复杂图表理解与问答任务中的表现。通过引入更多样化的问题类型和更复杂的图表结构，ChartQAPro显著推动了视觉语言理解领域的发展，并为相关研究提供了更为严谨的评估标准。

当前挑战

ChartQAPro数据集面临的挑战主要体现在两个方面：领域问题方面，图表问答任务需克服图表类型多样、数据表示复杂以及多模态信息融合等难题；构建过程方面，数据集需确保问题类型的全面性、答案的精确性以及图表与问题间逻辑关联的严谨性，这些因素均增加了数据收集与标注的复杂度。

常用场景

经典使用场景

在信息可视化领域，ChartQAPro数据集为图表问答任务提供了一个多样且具有挑战性的基准。该数据集广泛应用于评估模型在解析和回答基于图表的问题时的能力，包括折线图、柱状图、饼图等多种图表类型。研究人员利用该数据集测试模型在复杂视觉和语言理解任务中的表现，特别是在需要多模态推理的场景下。

解决学术问题

ChartQAPro数据集解决了图表问答任务中数据多样性不足和挑战性不够的学术问题。通过引入更复杂的图表类型和多样化的问题形式，该数据集推动了模型在视觉语言理解和多模态推理方面的研究进展。其意义在于为学术界提供了一个更接近真实场景的评估标准，促进了相关技术的创新与发展。

衍生相关工作

ChartQAPro数据集衍生了一系列经典研究工作，包括多模态预训练模型、视觉问答系统和图表理解算法。这些工作进一步扩展了数据集的应用范围，推动了图表问答技术的前沿发展。例如，基于该数据集的模型在金融数据分析和医疗报告生成中展示了显著的性能提升。