DaTikZv3

DaTikZv3数据集是由德国曼海姆大学和日本信息通信技术国家研究所共同创建的，包含从经过精心挑选的仓库、TEX.SE、arXiv论文以及人工样本中提取的TikZ图形程序。该数据集在之前版本的基础上增加了说明文字的提取，以支持对TikZero方法的训练和评估。数据集中的图形程序数量超过450k，但有说明文字的样本仅占大约170k，突显了训练数据的稀缺性。该数据集旨在促进从文本到图形程序合成的zero-shot学习，解决科学研究中复杂图形创建的挑战。

The DaTikZv3 dataset was jointly developed by the University of Mannheim in Germany and the National Institute of Information and Communications Technology of Japan. It contains TikZ graphic programs extracted from carefully selected repositories, TEX.SE, arXiv papers, and manually curated samples. Building upon its prior versions, this dataset adds the extraction of descriptive text to support the training and evaluation of the TikZero method. The total number of graphic programs in the dataset exceeds 450k, while only approximately 170k samples are paired with descriptive text, highlighting the scarcity of training data. This dataset aims to facilitate zero-shot learning for text-to-graphic program synthesis, addressing the challenges of creating complex graphics in scientific research.

搜集汇总

数据集介绍

构建方式

DaTikZv3数据集的构建基于其前身DaTikZ和DaTikZv2，进一步扩展了TikZ图形程序的数量和多样性。该数据集从多个来源收集数据，包括精心策划的代码库、TEX Stack Exchange（TEX.SE）上的讨论、arXiv论文以及人工生成的样本。与前两个版本不同，DaTikZv3系统地提取了与TikZ图形配对的文本描述，以支持文本引导的图形程序生成任务。数据集包含超过45万个TikZ图形程序，其中约17万个样本带有文本描述，突显了文本-图形对齐数据的稀缺性。

特点

DaTikZv3数据集的主要特点在于其多样性和规模。它不仅涵盖了广泛的科学图形类型，还通过从TEX.SE和arXiv等来源收集数据，确保了数据的高质量和实际应用价值。此外，数据集中的图形程序具有高度的可编辑性和语义保留性，适合用于生成具有几何精度和可解释性的科学图形。数据集还支持零样本文本引导的图形程序生成任务，通过将图形程序生成与文本理解解耦，充分利用了未对齐的图形程序和带文本描述的图像数据。

使用方法

DaTikZv3数据集主要用于训练和评估文本引导的图形程序生成模型，如TikZero。通过将图形程序生成与文本理解解耦，模型可以独立训练于图形程序和带文本描述的图像数据，从而在推理阶段实现零样本文本引导的图形程序生成。数据集的使用方法包括：首先训练一个基于图像表示的反向图形模型，然后通过适配器网络生成从文本描述到图像表示的映射。这种方法不仅提高了模型的训练效率，还显著提升了生成图形的质量和与文本描述的匹配度。此外，数据集还可用于评估模型在生成复杂科学图形时的表现，特别是在几何精度和可编辑性方面的能力。

背景与挑战

背景概述

DaTikZv3数据集由Jonas Belouadi等人于2025年提出，旨在解决文本引导的图形程序合成问题。该数据集包含超过45万条TikZ图形程序，其中约17万条带有标注的样本。TikZ是一种广泛用于科学研究的图形编程语言，因其高表达性和可编辑性而备受青睐。然而，TikZ的学习曲线陡峭，导致其使用门槛较高。DaTikZv3的创建旨在通过生成式AI技术，简化从文本描述生成TikZ图形程序的过程，从而降低使用门槛并提高效率。该数据集的推出对科学研究和图形编程领域产生了深远影响，尤其是在自动化图形生成和文本到图形的转换方面。

当前挑战

DaTikZv3数据集面临的主要挑战包括两个方面。首先，文本引导的图形程序合成任务本身具有较高的复杂性，要求生成的图形不仅需要符合文本描述，还需具备高几何精度和可编辑性。其次，数据集的构建过程中面临标注数据稀缺的问题。尽管存在大量未标注的图形程序和带有标注的栅格图像，但标注对齐的图形程序数据仍然有限。为了解决这一问题，研究人员提出了TikZero模型，通过将图形程序生成与文本理解解耦，利用图像表示作为中介桥梁，从而在推理过程中实现零样本的文本引导图形程序合成。这一方法显著提升了模型的性能，但也带来了模型训练和推理的复杂性。

常用场景

经典使用场景

DaTikZv3数据集在生成式AI领域中被广泛用于文本引导的图形程序合成任务。通过将自然语言描述与TikZ图形程序对齐，该数据集为研究人员提供了一个强大的工具，用于训练和评估模型在从文本生成高精度、可编辑的科学图形方面的能力。其经典使用场景包括从文本描述生成复杂的科学图表、流程图以及数学图形，极大地简化了科学文档的图形创作过程。

衍生相关工作

DaTikZv3数据集衍生了一系列相关研究工作，特别是在文本到图形程序合成领域。基于该数据集，研究人员开发了TikZero模型及其增强版本TikZero+，这些模型在生成复杂科学图形方面表现出色。此外，该数据集还启发了其他图形程序合成任务的研究，如向量图形生成和自然语言到可视化（NL2Vis）任务，推动了生成式AI在科学图形生成领域的进一步发展。

数据集最近研究

最新研究方向

随着生成式人工智能的快速发展，从文本描述生成高精度、可编辑的图形程序成为研究热点。TikZero通过将图形程序生成与文本理解解耦，利用图像表示作为中间桥梁，实现了零样本文本引导的图形程序合成。该方法不仅能够独立训练图形程序和带标题的图像，还在推理阶段表现出色，显著优于仅依赖标题对齐图形程序的基线模型。此外，TikZero在结合标题对齐图形程序进行微调后，性能甚至超越了包括GPT-4o在内的更大规模模型。这一研究方向不仅解决了训练数据稀缺的问题，还为科学图形生成领域提供了新的思路，推动了图形程序合成技术的进一步发展。

相关研究论文

• TikZero: Zero-Shot Text-Guided Graphics Program Synthesis

  德国曼海姆大学，日本信息通信技术国家研究所 · 2025年