RefChartQA

RefChartQA是一个用于视觉定位在图表基础上的问答的大规模基准数据集。它通过添加将每个答案与图表中的支持视觉元素明确链接的边界框注释，扩展了ChartQA和TinyChart-PoT数据集。RefChartQA包含73,702个注释样本，包括55,789个训练实例、6,223个验证实例和11,690个测试实例。

搜集汇总

数据集介绍

构建方式

RefChartQA数据集作为图表视觉定位领域的基准数据集，其构建过程体现了严谨的学术规范。该数据集基于ChartQA和TinyChart-PoT数据集进行扩展，通过人工标注的方式为每个问题答案对添加了精确的边界框标注，将文本答案与图表中的视觉元素建立显式关联。整个数据集包含73,702个标注样本，按照7:1:2的比例划分为训练集（55,789样本）、验证集（6,223样本）和测试集（11,690样本），确保了模型开发过程中各阶段的评估需求。

特点

RefChartQA最显著的特征在于其多模态数据结构和精细的视觉定位标注。每个样本包含图表图像、自然语言问题、文本答案三要素，并创新性地引入了grounding_bboxes字段，以浮点坐标形式记录答案对应的图表区域位置。这种结构化设计既保留了原始ChartQA的问答特性，又通过视觉定位标注增强了可解释性，为研究视觉-语言对齐机制提供了理想实验平台。数据集涵盖柱状图、折线图等多种图表类型，问题类型包括数据查询、趋势分析等多样化任务。

使用方法

使用RefChartQA需要配置Python环境并安装datasets和pillow库。通过Hugging Face的load_dataset函数可直接加载数据集，其返回的字典结构包含train、validation、test三个标准分割。每个样本以字典形式呈现，可通过键名访问图像、问题、答案等字段，其中图像字段为PIL对象便于直接可视化。grounding_bboxes字段以列表形式存储多个边界框坐标，研究者可据此开发视觉定位算法或评估模型的可解释性表现。

背景与挑战

背景概述

RefChartQA数据集作为图表视觉定位领域的里程碑式资源，由研究团队于2023年推出，旨在解决图表问答系统中视觉依据可解释性这一核心问题。该数据集基于ChartQA和TinyChart-PoT的框架创新性扩展，通过引入精确的边界框标注，建立了答案与图表视觉元素的显式关联。其包含73,702个标注样本的规模，为多模态推理研究提供了重要基准，显著推动了金融分析、科研数据解读等需要精准图表理解的领域发展。数据集通过arXiv论文和GitHub开源项目双渠道发布，体现了可重复研究的学术理念。

当前挑战

构建RefChartQA面临双重技术挑战：在领域问题层面，图表元素的抽象性和多义性导致视觉定位精度难以突破，特别是处理堆叠柱状图等复杂图表时，模型易混淆语义相近的图形元素；在数据构建层面，标注过程需要专业领域知识以确保边界框与数据逻辑的严格对应，而不同图表类型的异构性（如饼图与散点图的坐标体系差异）进一步增加了标注规范统一的难度。测试集11,690个样本中包含的极端案例，对模型的鲁棒性和泛化能力提出了更高要求。

常用场景

经典使用场景

在信息可视化领域，RefChartQA数据集为基于图表的视觉问答任务提供了标准化的评估基准。该数据集通过精确的边界框标注，将自然语言问题与图表中的视觉元素建立显式关联，使得模型能够学习如何从复杂的图表结构中定位并提取关键信息。研究人员可利用该数据集训练和评估模型在图表理解、视觉定位和问答推理等方面的综合能力。

解决学术问题

RefChartQA有效解决了图表视觉问答中答案可解释性不足的学术难题。传统方法往往缺乏对答案生成过程的视觉证据支持，而该数据集提供的细粒度标注使研究者能够开发具有视觉定位能力的可解释模型。这一突破对提升AI系统的透明度和可信度具有重要意义，推动了视觉语言理解领域向更精细化方向发展。

衍生相关工作

RefChartQA的发布催生了多项创新研究，包括基于Transformer的跨模态预训练框架ChartVLM，以及结合扩散模型的图表生成问答系统ChartDiffQA。这些工作通过引入注意力机制和生成对抗网络，显著提升了模型在复杂图表场景下的推理精度和答案可解释性，形成了视觉问答领域新的技术路线。