DiagramQG

DiagramQG是由西安交通大学创建的一个专注于教育应用的视觉问答生成数据集，包含8,372张图表和19,475个问题，涵盖多个学科。数据集通过整合现有图表问答数据集和中学课程材料构建，引入了概念和目标文本约束，指导模型生成以概念为中心的教育问题。创建过程中，数据经过多阶段收集、分类、标注和质量保证，确保数据集的高质量和多样性。DiagramQG主要用于评估学生在不同学科中对复杂概念的理解和应用能力。

DiagramQG is a visual question generation dataset dedicated to educational applications, developed by Xi'an Jiaotong University. It contains 8,372 charts and 19,475 questions, covering a wide range of disciplines. The dataset is constructed by integrating existing chart-based question answering datasets and secondary school curriculum materials, and introduces conceptual and target text constraints to guide models to generate concept-centered educational questions. During its creation, the data went through multi-stage collection, classification, annotation and quality assurance procedures to guarantee its high quality and diversity. DiagramQG is primarily utilized to assess students' abilities to understand and apply complex concepts across various disciplines.

搜集汇总

数据集介绍

构建方式

DiagramQG数据集的构建旨在填补现有视觉问答研究中对教育材料中图表的忽视。该数据集通过整合现有的图表问答数据集与中学课程材料，涵盖了8,372个图表和19,475个问题，涉及4个学科、15门课程和169个概念。构建过程中，首先收集了大量图表和问题，随后通过训练的众包工作者进行详细标注，包括目标文本和概念文本的约束，以及图表元素的标注。最后，通过另一组众包工作者进行质量评估，筛选出评分高于60分的组合，形成了最终的数据集。

特点

DiagramQG数据集的显著特点在于其专注于教育领域中的图表，引入了概念和目标文本的约束，指导模型生成以概念为中心的问题。此外，该数据集包含了高密度的对象信息，要求模型具备处理复杂视觉信息的能力。数据集的多样性体现在覆盖了多个学科和课程，提供了全面的学生概念理解评估。

使用方法

使用DiagramQG数据集时，研究者可以利用其丰富的图表和问题组合，训练视觉问答模型以生成以概念为中心的问题。通过引入目标文本和概念文本的约束，模型能够生成符合教育需求的问题。此外，数据集的高对象信息密度要求模型具备强大的视觉理解能力，从而生成与图表内容紧密相关的问题。研究者还可以利用该数据集进行跨学科的视觉问答研究，探索模型在不同学科背景下的表现。

背景与挑战

背景概述

DiagramQG数据集由西安交通大学的研究团队于2024年创建，旨在填补视觉问题生成（VQG）研究中对教育材料中常见图表的忽视。该数据集包含8,372个图表和19,475个问题，涵盖多个学科，旨在引导模型生成以概念为中心的问题，以评估学生的概念理解能力。DiagramQG的引入不仅推动了VQG领域的发展，还为教育应用提供了新的工具，通过引入概念和目标文本约束，指导模型生成符合教育需求的问题。

当前挑战

DiagramQG数据集面临多个挑战。首先，生成以概念为中心的问题需要模型具备跨学科的特定领域知识，这增加了模型的复杂性和训练难度。其次，数据集中存在长尾分布现象，某些概念的覆盖率远高于其他概念，这要求模型在处理不同概念时具有良好的泛化能力。最后，图表中包含大量对象信息，增加了内容解释的复杂性，模型需要具备捕捉和处理复杂视觉信息的能力，以避免忽略关键细节。

常用场景

经典使用场景

DiagramQG数据集在教育领域中具有广泛的应用前景，特别是在生成基于图表的概念聚焦问题方面。该数据集通过整合8,372个图表和19,475个问题，涵盖了多个学科和课程，为模型提供了丰富的训练材料。其经典使用场景包括自动生成与图表内容相关的教育问题，这些问题旨在评估学生对特定概念的理解和应用能力。通过引入概念和目标文本约束，模型能够生成符合教育需求的问题，从而提升学生的学习体验和知识掌握程度。

衍生相关工作

DiagramQG数据集的推出催生了一系列相关研究工作，特别是在图表理解和教育问题生成领域。例如，基于DiagramQG数据集，研究者们开发了多种图表问题生成模型，如Hierarchical Knowledge Integration framework for Diagram Question Generation (HKI-DQG)，该框架通过多尺度图表补丁和视觉语言模型的结合，显著提升了问题生成的质量和准确性。此外，DiagramQG还激发了对多模态学习系统的研究，探索如何更有效地整合视觉和文本信息以提升教育效果。

数据集最近研究

最新研究方向

在教育应用领域，视觉问题生成（VQG）技术因其潜力而备受关注。然而，现有研究主要集中在自然图像上，忽略了教育材料中常用的图表，这些图表在评估学生概念理解方面具有重要作用。为了填补这一空白，DiagramQG数据集应运而生，该数据集包含8,372个图表和19,475个问题，涵盖多个学科。DiagramQG引入了概念和目标文本约束，指导模型生成面向教育目的的概念聚焦问题。同时，研究者提出了层次知识集成框架（HKI-DQG）作为强基线模型，该框架通过多尺度图表补丁和冻结参数的视觉语言模型获取知识，并整合知识、文本约束和补丁以生成概念聚焦问题。实验结果表明，HKI-DQG在DiagramQG数据集上优于现有方法，并展示了其在其他VQG数据集上的先进性能。

相关研究论文

• DiagramQG: A Dataset for Generating Concept-Focused Questions from Diagrams

  西安交通大学 · 2024年