GITQA 多模态图推理问答数据集

GITQA 是香港科技大学和南方科技大学，通过将图结构绘制为不同风格的视觉图像，构建的首个包含视觉图的推理问答数据集。该数据集包含超过 423K 个问答实例，每个实例包含相互对应的图结构-文本-视觉信息及其相应的问答对。

GITQA, developed by The Hong Kong University of Science and Technology and Southern University of Science and Technology, is the first visual graph-based reasoning question answering dataset constructed by rendering graph structures into visual images of various styles. This dataset contains over 423K question-answering instances, each of which includes mutually aligned graph structure, text, visual information and their corresponding QA pairs.

搜集汇总

背景与挑战

背景概述

GITQA是由香港科技大学和南方科技大学构建的首个多模态图推理问答数据集，包含超过423K个问答实例，每个实例整合了图结构、文本和视觉信息。该数据集分为GITQA-Base和GITQA-Aug两个版本，旨在评估语言模型和多模态模型在图推理任务中的性能，并探究视觉信息的影响。