DaTikZ-V4

DaTikZ-V4 是一个用于训练 TikZ/LaTeX 图表生成模型（如 TikZilla-3B、TikZilla-8B 等）的数据集，旨在从自然语言描述生成 TikZ/LaTeX 科学图表。数据集包含 10 万到 100 万条样本，数据来源于 ArXiv、GitHub 和 TeXStackExchange 的 TikZ 代码，并使用 Qwen2.5-VL-7B-Instruct 生成对应的科学图表描述。每个样本包含以下字段：唯一标识符 (file_id)、原始标题 (caption)、视觉语言模型生成的详细描述 (vlm_description)、完整的 LaTeX/TikZ 源代码 (tikz_code)、数据来源 (source) 以及渲染后的图表图像 (png_image)。该数据集适用于文本生成任务，特别是科学图表生成、代码生成和 LaTeX 相关应用。

DaTikZ-V4 is a dataset designed for training TikZ/LaTeX diagram generation models (e.g., TikZilla-3B, TikZilla-8B) to generate scientific TikZ/LaTeX diagrams from natural language descriptions. The dataset contains 100,000 to 1,000,000 samples, with source data collected from TikZ codes on ArXiv, GitHub, and TeXStackExchange, and the corresponding scientific diagram descriptions generated using Qwen2.5-VL-7B-Instruct. Each sample includes the following fields: unique identifier (file_id), original caption, detailed description generated by the vision-language model (vlm_description), complete LaTeX/TikZ source code (tikz_code), data source (source), and rendered diagram image (png_image). This dataset is suitable for text generation tasks, especially scientific diagram generation, code generation, and LaTeX-related applications.

搜集汇总

数据集介绍

构建方式

DaTikZ-V4数据集的构建融合了多源异构数据采集与视觉语言模型增强技术。其TikZ代码广泛来源于ArXiv学术预印本、GitHub开源仓库及TeX StackExchange技术社区，确保了代码的多样性与专业性。为弥合代码与自然语言之间的语义鸿沟，研究团队采用Qwen2.5-VL-7B-Instruct视觉语言模型，为每幅TikZ图形自动生成详尽的视觉描述，从而构建起从文本到图形的跨模态映射关系。每个样本均包含唯一标识符、原始标题、模型生成的描述、完整的LaTeX/TikZ源代码、数据来源标签以及渲染后的PNG图像，形成了结构完备、语义丰富的训练资源。

特点

该数据集具备三大显著特征。其一，规模可观，样本数量介于十万至百万之间，为大规模模型训练提供了充足的数据基础。其二，来源多元，融合了学术论文、开源项目及社区问答中的真实TikZ代码，覆盖了从简单示意图到复杂科学图表的广泛类型，具有高度的领域代表性。其三，描述详尽，每个样本不仅保留了原始标题，更通过视觉语言模型生成了细粒度的视觉描述，使得模型能够学习从高层语义到底层绘图指令的复杂映射关系，显著提升了文本到代码生成任务中的语义理解能力。

使用方法

DaTikZ-V4的使用极为便捷，完全兼容HuggingFace Datasets库的标准接口。用户只需通过pip安装datasets库，即可利用load_dataset函数加载指定标识符'nllg/DaTikZ-V4'的数据集，并指定训练集分割。加载后，每个样本以字典形式呈现，包含'file_id'、'caption'、'vlm_description'、'tikz_code'、'source'及'png_image'等字段。研究人员可直接提取'vlm_description'作为输入、'tikz_code'作为目标，用于训练文本到LaTeX/TikZ代码的生成模型，也可利用'png_image'字段进行多模态联合训练或评估，极大简化了数据预处理流程。

背景与挑战

背景概述

DaTikZ-V4数据集由自然语言处理与计算机图形学交叉领域的研究团队于2025年构建，旨在弥合自然语言描述与结构化图形代码之间的鸿沟。该数据集以TikZ/LaTeX代码为核心，广泛应用于学术论文中的科学图表自动生成任务，其研究问题聚焦于如何通过多模态信息（文本描述、视觉特征）驱动复杂矢量图形的程序化合成。数据来源涵盖ArXiv、GitHub及TeX StackExchange等权威平台，基于Qwen2.5-VL-7B-Instruct模型生成精细的视觉描述，为TikZilla系列模型（如3B/8B参数版本）提供了训练基础。该数据集的发布显著推动了科学可视化领域的自动化进程，尤其在减少研究人员手动绘制图表的时间成本方面具有里程碑意义。

当前挑战

当前DaTikZ-V4面临的核心挑战包括：其一，领域问题的复杂性——TikZ代码语法高度灵活且依赖上下文（如坐标计算、库调用），从自然语言到精准代码的映射需同时理解语义逻辑与几何约束，现有模型在生成复杂多子图或含数学符号的图表时仍易出现结构错误。其二，构建过程中的数据质量与多样性平衡难题——从多源平台采集的代码存在风格差异（如旧版LaTeX与新版TikZ语法不兼容），且自动生成的视觉描述可能遗漏局部细节（如箭头方向、颜色渐变），导致训练数据存在噪声。此外，数据规模（10万至100万级别）限制了模型对罕见图形模板的泛化能力，尤其在处理长尾分布的学科特定图表（如量子电路图）时表现欠佳。

常用场景

经典使用场景

DaTikZ-V4 数据集的核心应用在于驱动从自然语言描述到 TikZ/LaTeX 科学图形代码的生成任务。该数据集汇聚了来自 ArXiv、GitHub 及 TeXStackExchange 等权威来源的 TikZ 代码，并辅以视觉语言模型生成的精细描述，构成了一个多源、高质量的图文对齐语料库。经典使用场景包括训练端到端的代码生成模型，例如 TikZilla 系列模型，使其能够理解科研人员用自然语言表述的图形需求，并自动输出可编译的 TikZ 代码，从而显著降低绘制复杂科学示意图的门槛。

解决学术问题

该数据集致力于解决学术研究中科学图形自动生成的瓶颈问题。传统上，绘制高质量的科学图形需要研究者熟练掌握 LaTeX/TikZ 语法，这一过程耗时且容易出错。DaTikZ-V4 通过提供大规模、配对的自然语言描述与 TikZ 代码样本，使得模型能够学习从语义到代码的映射关系。它有效缓解了科研写作中图形表达与代码实现之间的鸿沟，推动了代码生成领域在科学文档场景下的发展，为自动化科学论文排版和辅助学术交流提供了坚实的数据基础。

衍生相关工作

DaTikZ-V4 的发布直接催生了 TikZilla 系列模型的诞生，包括 TikZilla-3B、TikZilla-8B 及其强化学习版本。这些模型在 DaTikZ-V4 上训练，成为从自然语言指令生成 TikZ 代码的标杆工作。此外，该数据集也为后续研究提供了基准，如探索更高效的多模态对齐策略、引入奖励机制以提升代码可编译性，以及扩展至更广泛的 LaTeX 代码生成任务。它推动了科学文档自动生成领域的标准化评估，激励了更多关于代码生成、视觉描述与结构化输出结合的前沿探索。