DiagramGenBenchmark

arXiv2024-11-18 更新2024-11-21 收录

下载链接：

http://arxiv.org/abs/2411.11916v1

下载链接

链接失效反馈

官方服务：

资源简介：

DiagramGenBenchmark是由中国科学院大学和西湖大学共同创建的一个用于评估结构化图表生成和编辑的综合性数据集。该数据集包含八种不同类型的图表，如流程图、模型架构图和思维导图，旨在为文本到图表生成任务提供坚实的基础。数据集的内容涵盖了从简单到复杂的多种图表类型，确保了评估的全面性。创建过程中，研究团队通过严格的筛选和标注，确保了数据集的高质量和多样性。该数据集主要应用于教育、科研和工业领域，旨在解决复杂信息的高效可视化表达问题，提升图表生成和编辑的准确性和灵活性。

DiagramGenBenchmark is a comprehensive dataset jointly created by the University of Chinese Academy of Sciences and Westlake University for evaluating structured diagram generation and editing. It encompasses eight distinct types of diagrams, including flowcharts, model architecture diagrams and mind maps, aiming to provide a robust foundation for text-to-diagram generation tasks. The dataset covers a wide range of diagram types spanning from simple to complex, ensuring the comprehensiveness of the evaluation. During the dataset development process, the research team implemented strict screening and annotation protocols to guarantee its high quality and diversity. This dataset is primarily applied in education, scientific research and industrial fields, with the goal of addressing efficient visual expression of complex information and improving the accuracy and flexibility of diagram generation and editing.

提供机构：

中国科学院大学西湖大学

创建时间：

2024-11-18

搜集汇总

数据集介绍

构建方式

DiagramGenBenchmark的构建过程严格遵循多步骤的数据采集与处理流程。首先，从多个权威来源收集原始的Tex和DOT语言代码数据，包括VGQA、datikz和datikz-v2数据集，以及GitHub和Overleaf上的公开仓库。随后，通过手动筛选和编译测试，确保代码能够成功转化为图像，从而保留了6,983个代码-图像对。最后，利用GPT-4o模型进行自动标注，将数据分为八种不同的图表类型，包括模型架构图、流程图、折线图、有向图、无向图、表格、条形图和思维导图，确保数据集的多样性和高质量。

使用方法

DiagramGenBenchmark的使用方法灵活多样，适用于多种研究和应用场景。研究者可以利用该数据集进行图表生成、编码和编辑任务的训练和评估，通过对比不同模型的性能，优化算法设计。具体操作包括加载数据集、选择特定任务、进行模型训练和测试，以及利用提供的评估指标（如Pass@1、ROUGE-L、CodeBLEU等）进行性能分析。此外，数据集还支持人类评估，通过多维度评分系统，确保生成图表的准确性和用户满意度。

背景与挑战

背景概述

DiagramGenBenchmark 数据集由中科院和西湖大学联合开发，旨在解决从文本描述生成结构化图表的挑战。该数据集创建于2024年，主要研究人员包括Jingxuan Wei、Cheng Tan等。核心研究问题是如何从文本直接生成具有逻辑组织和灵活性的图表，如流程图、模型架构图和思维导图。DiagramGenBenchmark 不仅涵盖了八种不同的图表类别，还引入了DiagramAgent框架，该框架通过四个核心模块（Plan Agent、Code Agent、Check Agent和Diagram-to-Code Agent）来促进复杂图表的生成和编辑。该数据集的推出对教育、科研和工业等领域具有重要影响，特别是在需要结构化可视化以进行有效沟通和分析的场景中。

当前挑战

DiagramGenBenchmark 数据集面临的挑战主要集中在两个方面。首先，从文本生成图表的任务本身具有高度复杂性，因为图表需要精确的逻辑关系和层次结构，而现有的文本到图像生成方法往往缺乏这种能力。其次，在数据集构建过程中，如何确保图表的多样性和高质量是一个重大挑战。现有的数据集通常侧重于图像真实性或简单的数据可视化，无法完全满足文本到图表生成的需求。DiagramGenBenchmark 通过引入严格的评估框架和创新的生成编辑工具，试图解决这些挑战，但其性能和应用仍需进一步验证和优化。

常用场景

经典使用场景

DiagramGenBenchmark 数据集的经典使用场景在于支持从文本描述生成结构化图表的任务。该数据集涵盖了八种不同类型的图表，包括流程图、模型架构图和思维导图等，为研究人员提供了一个全面的评估框架。通过结合客观指标和人工评估，研究人员可以利用该数据集来训练和验证文本到图表生成模型的准确性、结构一致性和可修改性。

解决学术问题

DiagramGenBenchmark 数据集解决了文本到图表生成领域中的一个关键学术问题，即如何从文本描述中生成具有逻辑组织和灵活性的准确、可编辑的图表。现有方法在生成自然场景图像或代码时，往往缺乏生成复杂图表所需的结构逻辑和可修改性。该数据集通过提供多样化的图表类型和详细的评估指标，推动了这一领域的研究进展，为生成和编辑复杂图表提供了强大的工具集。

实际应用

DiagramGenBenchmark 数据集在教育、科学研究和工业领域具有广泛的实际应用场景。在这些领域中，结构化的视觉表示对于有效沟通和分析至关重要。例如，教育工作者可以使用该数据集生成的图表来辅助教学，科研人员可以利用其生成复杂的模型架构图，而工业界则可以应用其生成流程图和思维导图来优化工作流程。

数据集最近研究