ChartQA

该数据集名为ChartQA，是一个最近发布的开放领域图表问答数据集，它包括两个子集：增强集和人力集。其中，增强集由机器生成，而人力集则需要更复杂的推理过程。这项任务被称为Chartqa。

This dataset, named ChartQA, is a recently released open-domain chart question answering dataset comprising two subsets: the Augmented Set and the Human Set. The Augmented Set is machine-generated, whereas the Human Set requires more complex reasoning processes. This task is referred to as ChartQA.

搜集汇总

数据集介绍

构建方式

ChartQA 数据集通过结合人工标注与自动生成两种途径构建而成。人工部分依托亚马逊土耳其机器人平台，邀请标注员针对真实世界图表撰写包含视觉与逻辑推理的复杂问题，并经过双重验证确保答案准确性。自动部分则利用微调后的T5模型，基于人类撰写的图表摘要生成问答对，再通过启发式规则过滤无效条目，最终获得约9.6K人工问题与23.1K机器生成问题。所有图表均采集自Statista、Pew Research、Our World In Data及OECD四个来源，涵盖柱状图、折线图与饼图等多种类型，确保了视觉风格与主题的多样性。

特点

该数据集的核心特点在于其问题的高度复杂性与自然性。人工撰写的问题中超过76%涉及组合运算或视觉与逻辑的混合推理，例如需要计算差值、比率或引用图表中特定颜色与位置的元素。与以往基于模板的数据集不同，ChartQA的问题词汇丰富、句式多样，且答案不限于固定词汇表，而是开放式的数值或标签。此外，图表来源的真实性使得视觉风格各异，进一步增加了模型在数据提取与推理上的挑战。

使用方法

使用ChartQA数据集时，研究者可将图表图像、底层数据表及自然语言问题作为输入，训练模型进行答案预测。典型方法包括将数据表展平后与问题拼接，输入T5或TaPas等文本生成模型，或结合视觉特征（如ViT提取的图像块嵌入）构建多模态模型如VisionTaPas。评估采用宽松准确率指标，对数值答案允许5%的误差。数据集已公开划分训练、验证与测试集，并提供了基准模型代码，便于复现与对比实验。

背景与挑战

背景概述

数据可视化图表作为信息传递与数据分析的重要载体，在商业、科研及公共政策等领域被广泛运用。然而，现有图表问答数据集多依赖模板生成问题，缺乏自然语言多样性，且答案局限于固定词汇表，难以应对涉及视觉特征与复杂逻辑推理的真实查询。为弥补这一空白，由约克大学、南洋理工大学与Salesforce Research的研究人员于2022年共同构建了ChartQA数据集。该数据集包含9,608条人工撰写的问题与23,111条基于人工摘要生成的机器问题，覆盖20,882张来自Statista、Pew Research、Our World In Data及OECD四个来源的真实图表。ChartQA聚焦于视觉与逻辑推理，旨在推动图表理解系统从简单分类迈向开放词汇、多步推理的新阶段，对自然语言处理与计算机视觉交叉领域具有重要影响力。

当前挑战

ChartQA面临的核心挑战体现在三个层面。首先，所解决的领域问题在于图表问答需同时处理视觉参照与算术逻辑运算，例如比较数值、计算差值或识别趋势，而现有模型在嵌套操作（如先加后减）上表现脆弱，准确率显著低于简单数据检索任务。其次，构建过程中面临自然语言歧义与标注一致性难题，人工撰写问题常包含同义词替换、非正式表达或拼写错误，双人标注的精确匹配率仅61.04%，经手动修正后方提升至78.55%。此外，自动数据提取模块在应对真实世界图表多样化的视觉风格（如对数坐标、堆叠条形图）时误差较高，导致后续模型性能下降，凸显了端到端视觉-语言联合建模的迫切需求。

常用场景

经典使用场景

ChartQA作为大规模图表问答基准，广泛应用于评估模型对可视化数据的视觉与逻辑推理能力。其核心场景涵盖从真实世界图表（如柱状图、折线图、饼图）中回答复杂问题，例如计算差值、比较趋势或识别视觉属性（如颜色、位置）。该数据集通过人工撰写与机器生成的多样化问题，模拟用户对图表数据的自然查询，为多模态推理研究提供了标准化测试平台。

解决学术问题

ChartQA解决了现有数据集缺乏真实图表与复杂推理问题的局限。此前模板化问题仅支持固定词汇答案，忽视视觉与算术推理。该数据集引入组合操作（如求和、求差）与视觉引用（如“最右侧浅蓝色柱”），推动模型从分类任务转向开放词汇生成。其意义在于揭示人类语言的非正式性与嵌套运算的挑战，促使学界探索更鲁棒的多模态融合方法。

衍生相关工作

ChartQA衍生出多项经典工作，包括VisionTaPas与VL-T5等模型，它们融合视觉特征与表格数据以提升推理精度。后续研究进一步扩展了嵌套操作支持（如顺序推理）和语义图表示，以解决多阶段逻辑问题。此外，基于ChartQA的预训练策略（如从PlotQA迁移学习）验证了大规模合成数据对真实场景的泛化能力，推动了图表理解领域的基准迭代。