Chart-HQA

Chart-HQA是一个由浙江大学和阿里巴巴集团合作构建的开放域图表假设性问题回答数据集。该数据集通过人类与大型语言模型互动的方法，生成具有多样性和高质量的假设性问题。它包含了2173个假设性问题，覆盖了900种指令提案和947个图表，旨在测试模型在图表内容理解方面的零样本推理能力。数据集中的假设性问题格式为开放词汇，要求对底层图表数据进行反事实操作，这为图表理解任务带来了新的挑战。Chart-HQA is an open-domain chart hypothetical question answering dataset jointly constructed by Zhejiang University and Alibaba Group. This dataset generates diverse and high-quality hypothetical questions via the interaction between humans and large language models. It contains 2173 hypothetical questions, covering 900 instruction proposals and 947 charts, aiming to test the zero-shot reasoning ability of models when understanding chart content. The hypothetical questions in the dataset adopt an open-vocabulary format, requiring counterfactual operations on the underlying chart data, which introduces new challenges to the chart understanding task.

搜集汇总

数据集介绍

构建方式

Chart-HQA数据集的构建采用了人机交互的方式，结合了大型语言模型（LLMs）的文本编辑能力和人类专家的知识。首先，通过LLMs生成假设性问题，然后由人类专家进行验证和筛选。这种构建方式既保证了数据的多样性和高质量，又降低了数据构建的成本。

特点

Chart-HQA数据集的特点在于它引入了假设性问题，要求模型根据图表内容进行反事实推理。这使得模型必须真正理解图表内容，而不是依赖于参数记忆来回答问题。此外，Chart-HQA数据集包含多种图表类型和假设性问题，具有较高的挑战性。

使用方法

使用Chart-HQA数据集时，首先需要将模型加载到环境中，然后使用数据集进行训练或测试。在训练过程中，模型会学习如何根据图表内容进行反事实推理，以提高其在图表理解方面的能力。在测试过程中，可以使用数据集中的假设性问题来评估模型的性能。

背景与挑战

背景概述

Chart-HQA数据集是由浙江大学和阿里巴巴集团的研究人员合作创建的，旨在解决多模态大型语言模型（MLLMs）在图表理解方面的输出偏差问题。这些模型在处理图表时往往依赖其参数记忆而非真正理解图表内容，从而产生输出偏差。为了解决这个问题，研究团队提出了一个名为“假设问答”（HQA）的任务，要求模型在图表内容的基础上进行反事实推理。此外，他们还提出了一种名为HAI的人机交互数据合成方法，该方法利用LLMs的高效文本编辑能力，结合人类专家知识，以低成本生成多样化和高质量的HQA数据。通过这种方法，研究团队构建了Chart-HQA数据集，该数据集由公开数据源合成，旨在挑战现有MLLMs的泛化能力和推理能力。

当前挑战

Chart-HQA数据集面临着几个关键挑战。首先，现有的图表问答基准主要关注事实性问答（FQA），忽略了MLLMs的输出偏差问题。其次，构建高质量的图表HQA基准并不容易，因为直接利用人类专家进行数据合成会导致数据多样性有限。此外，相同的假设场景可能不适用于不同类型的图表，甚至可能导致冲突的布局结构。为了克服这些挑战，研究团队提出了HAI数据合成方法，该方法结合了LLMs的文本编辑能力和人类专家知识，以低成本生成多样化和高质量的HQA数据。实验结果表明，现有MLLMs在Chart-HQA数据集上的推理能力有限，且在不同答案类型上表现不平衡，这突出了优化未来MLLMs的潜在途径。

常用场景

经典使用场景

Chart-HQA数据集主要用于评估多模态大型语言模型（MLLMs）在图表上的假设性问答（HQA）能力。通过向相同的问题施加假设，该数据集迫使模型基于图表内容进行反事实推理，从而揭示模型对图表内容的真正理解能力。此外，Chart-HQA数据集还用于研究MLLMs在图表理解中的输出偏差问题，即模型倾向于依赖其参数记忆来回答问题，而不是解释图表的视觉内容。

解决学术问题

Chart-HQA数据集解决了现有图表问答基准忽略MLLMs内在输出偏差问题的问题。它通过引入假设性问答任务，迫使模型进行反事实推理，从而揭示模型对图表内容的真正理解能力。此外，Chart-HQA数据集还揭示了现有MLLMs在图表假设性问答中的局限性，为优化未来MLLMs提供了潜在的研究方向。

衍生相关工作

Chart-HQA数据集衍生了多项相关工作，包括人类-人工智能交互式HQA数据合成方法HAI，该方法利用LLMs的文本编辑能力和人类专家知识来生成多样化和高质量的HQA数据。此外，Chart-HQA数据集还激发了多项研究，旨在优化MLLMs在图表假设性问答中的推理能力，以及开发新型图表问答系统。