vTikZ
收藏资源简介：
vTikZ数据集是一个专门用于评估大型语言模型（LLMs）在代码定制方面能力的基准数据集。该数据集包含100个精心策划的TikZ编辑场景，每个场景都需要对代码进行修改以实现指定的视觉变化。vTikZ数据集由人类创建的TikZ代码变体组成，每个变体都是从一个原始的TikZ代码中衍生出来的，并附有相应的编辑指令。数据集还包括参数化的地面真实情况，以应对多个代码变体可能正确实现给定的视觉修改的问题。此外，数据集还包括一个视觉审查工具，用于评估生成的视觉结果。vTikZ数据集旨在解决代码定制与视觉结果的一致性问题，为多模态人工智能辅助编程的未来研究铺平了道路。
The vTikZ dataset is a benchmark dataset specifically designed to evaluate the code customization capabilities of Large Language Models (LLMs). This dataset contains 100 meticulously curated TikZ editing scenarios, each of which requires code modifications to achieve a specified visual change. The vTikZ dataset consists of human-created TikZ code variants, each derived from an original TikZ codebase and paired with corresponding editing instructions. The dataset also includes parameterized ground truths to address the scenario where multiple code variants may correctly implement a given visual modification. Additionally, the dataset includes a visual review tool for evaluating the generated visual outputs. The vTikZ dataset aims to address the consistency issue between code customization and visual outputs, paving the way for future research on multimodal AI-augmented programming.
vTikZ数据集概述
数据集简介
- 名称：vTikZ
- 定位：首个专门评估大型语言模型(LLMs)在具有视觉意图的代码编辑任务上的基准测试
- 应用场景：通过自然语言指令修改生成图表/图形的代码(如TikZ)
- 核心挑战：
- 定位相关代码(特征定位)
- 生成有效的代码变体
- 确保视觉结果与用户意图一致
数据特征
人工标注特征
code：原始图表生成代码template_solution_code：参数化解决方案代码模板instruction：描述视觉修改意图的自然语言指令difficulty：定制任务的主观难度评分result_description：预期视觉结果的人工描述modification_type：代码修改类型(add/remove/update)type：原始图表类别(scientific/animal)
自动计算特征
code_solution：完美变体代码集合patch：原始代码与完美变体间的差异补丁image_input：原始代码渲染图像image_solution：所有完美变体的渲染图像difficulty_ast：原始代码与变体代码的树编辑距离(TED)
数据结构
- 配置名称：tikz
- 特征字段：
- 序列类型：difficulty_ast(float32序列)
- 字符串类型：id/code/commented_code/instruction/result_description/difficulty/modification_type/type
- 序列字符串：patch/template_solution_code/code_solution
- 图像类型：image_solution(序列)/image_input
数据划分
| 分割名称 | 样本数 | 数据量(Bytes) |
|---|---|---|
| benchmark | 100 | 6,167,039.0 |
| test | 2 | 122,202.52 |
技术指标
- 下载大小：3,928,058 Bytes
- 数据集总大小：6,289,241.52 Bytes
相关资源
- 论文：https://hal.science/hal-05049250
- 代码：https://github.com/IV2C/VTikZ
- 网站：https://iv2c.github.io/VTikZ/
引用格式
bibtex @inproceedings{reux_llmvisualcutomization_2025, author = {Reux, Charly and Acher, Mathieu and Khelladi, Djamel Eddine and Barais, Olivier and Quinton, Cl{e}ment}, title = {LLM Code Customization with Visual Results: A Benchmark on TikZ}, booktitle = {Proceedings of The 29th International Conference on Evaluation and Assessment in Software Engineering (EASE 2025)}, year = {2025} }
- 1LLM Code Customization with Visual Results: A Benchmark on TikZUniv Rennes, Inria, IRISA, INSA Rennes, France · 2025年
