SVGenius

SVGenius是一个全面评估大型语言模型（LLMs）在SVG理解、编辑和生成方面的能力的基准数据集。该数据集由来自24个应用领域的真实世界数据构建，包含2,377个查询，涵盖8个任务类别和18个评估指标。SVGenius旨在解决现有SVG处理基准的局限性，如覆盖范围有限、缺乏复杂性分层和评估范式碎片化等问题。通过系统性复杂性分层和全面评估，SVGenius为开发更强大的矢量图形模型和推动自动化图形设计应用提供了关键见解。SVGenius is a benchmark dataset that comprehensively evaluates the capabilities of large language models (LLMs) in SVG understanding, editing, and generation. This dataset is constructed from real-world data across 24 application domains, containing 2,377 queries, covering 8 task categories and 18 evaluation metrics. SVGenius aims to address the limitations of existing SVG processing benchmarks, such as limited coverage, lack of complexity stratification, and fragmented evaluation paradigms. Through systematic complexity stratification and comprehensive evaluation, SVGenius provides critical insights for developing more powerful vector graphics models and advancing automated graphic design applications.

原始信息汇总

SVGenius: Benchmarking LLMs in SVG Understanding, Editing and Generation

基本信息

• 作者: Siqi Chen, Xinyu Dong, Haolei Xu, Xingyu Wu, Fei Tang, Hang Zhang, Yuchen Yan, Linjuan Wu, Wenqi Zhang, Guiyang Hou, Yongliang Shen, Weiming Lu, Yueting Zhuang
• 机构: 浙江大学
• 状态: 预印本，正在审核中
• 对应作者: Yongliang Shen
• 资源链接:
  • HuggingFace
  • arXiv
  • GitHub (即将更新)

概述

SVGenius评估(M)LLMs在三个渐进维度上的能力：

1. 理解（感知和语义问答）
2. 编辑（错误修复、代码优化、样式编辑）
3. 生成（文本到SVG、多模态到SVG、样式转移）

数据集基于24个领域的真实数据，具有系统的复杂性分层，能够全面评估SVG处理能力。

摘要

• 数据集规模: 2,377个查询
• 评估维度: 理解、编辑、生成
• 任务类别: 8个
• 评估指标: 18个
• 评估模型: 24个主流模型，涵盖不同规模、架构、训练范式和可访问性级别

数据集构建与验证

• 数据来源: 超过100K真实世界SVG，涵盖24个领域
• 预处理: 经过严格的预处理和人工语义验证
• 最终样本: 927个结构和语义良好的样本
• 复杂性分层:
  • 使用路径计数、控制点和命令多样性等标准化指标
  • 分为简单、中等和复杂三个层级
  • 最终选取300个代表性SVG进行平衡评估

结果

• 评估模型: 22个多样化的(M)LLM
• 主要发现:
  • 专有模型整体领先，但随着复杂性增加性能显著下降
  • 推理增强训练在复杂理解和生成任务中表现优于纯缩放
  • 开源模型具有可扩展性优势，但受限于架构和训练约束
  • 所有模型都表现出系统性性能下降模式

引用

bibtex @misc{chen2025svgeniusbenchmarkingllmssvg, title={SVGenius: Benchmarking LLMs in SVG Understanding, Editing and Generation}, author={Siqi Chen and Xinyu Dong and Haolei Xu and Xingyu Wu and Fei Tang and Hang Zhang and Yuchen Yan and Linjuan Wu and Wenqi Zhang and Guiyang Hou and Yongliang Shen and Weiming Lu and Yueting Zhuang}, year={2025}, eprint={2506.03139}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2506.03139}, }

搜集汇总

数据集介绍

构建方式

SVGenius数据集构建采用多阶段混合方法，首先从Iconfont平台收集超过10万份真实世界SVG样本，经过自动化预处理（几何归一化、中心对齐、属性标准化）和人工筛选（10名志愿者视觉验证语义清晰度），最终保留927个高质量样本。通过路径数量、控制点密度和复杂指令频率三个量化指标，结合主成分分析将样本分层为Easy/Medium/Hard三个复杂度等级（33%/34%/33%比例），确保覆盖24个应用领域的300个平衡样本。

特点

该数据集具有三大核心特征：1) 真实性与多样性，所有样本源自设计师创作的实际SVG图形，覆盖UI设计、电子商务、医疗健康等24个垂直领域；2) 系统化复杂度分层，基于路径拓扑结构和几何特征构建量化评分体系，形成清晰的难度梯度；3) 多维度任务覆盖，包含理解（感知/语义QA）、编辑（错误修复/代码优化/风格调整）和生成（文本/图像到SVG/风格迁移）三大能力维度，共8类任务2377个查询。

使用方法

使用SVGenius需遵循三阶段流程：1) 任务选择，根据评估目标在理解（PQA/SQA）、编辑（BugFix/CodeOpt/StyleEdit）或生成（Text2SVG/Img2SVG/StyleTransfer）维度选取对应任务；2) 复杂度匹配，按模型能力选择Easy/Medium/Hard测试集；3) 多指标评估，组合应用18种专业指标如路径结构相似度(PSS)、相对CLIP分数(rCLIP)等，需同时考虑代码层结构准确性和渲染视觉效果。数据集支持零样本评估和微调训练两种模式。

背景与挑战

背景概述

SVGenius是由浙江大学的研究团队于2025年提出的一个综合性基准测试数据集，旨在评估大型语言模型和多模态语言模型在SVG（可缩放矢量图形）理解、编辑和生成方面的能力。该数据集基于来自24个应用领域的真实世界数据构建，包含2,377个查询，覆盖了理解、编辑和生成三个渐进维度。SVGenius通过系统化的复杂性分层，为模型评估提供了全面的框架，填补了现有基准测试在真实世界覆盖、复杂性分层和评估范式方面的不足。该数据集的建立为矢量图形处理研究提供了重要基础，推动了自动化图形设计应用的发展。

当前挑战

SVGenius面临的挑战主要包括两个方面：领域问题的挑战和构建过程的挑战。在领域问题方面，SVGenius旨在解决SVG处理中的多个复杂任务，包括SVG的理解（如感知和语义问答）、编辑（如错误修复、代码优化和样式编辑）以及生成（如文本到SVG、图像到SVG和样式转换）。这些任务对模型的几何理解、语义解析和结构化生成能力提出了较高要求。在构建过程中，研究团队需要处理真实世界SVG数据的多样性和复杂性，包括数据收集、质量过滤和复杂性分层等步骤。此外，设计全面的评估指标和任务框架，以确保对模型能力的系统化评估，也是一个重要的挑战。

常用场景

经典使用场景

SVGenius数据集在评估大型语言模型（LLMs）和多模态大型语言模型（MLLMs）在SVG理解、编辑和生成方面的能力方面具有经典应用场景。该数据集通过涵盖24个应用领域的真实数据，系统地评估了模型在理解（感知和语义问答）、编辑（错误修复、代码优化、风格编辑）和生成（文本到SVG、图像到SVG、风格转换）三个维度上的表现。SVGenius的经典使用场景包括模型性能的全面评估、能力边界的探索以及不同模型架构和训练范式的比较。

实际应用

SVGenius数据集在实际应用中具有广泛的价值，特别是在自动化图形设计、用户界面设计和数据可视化等领域。通过评估模型在SVG理解、编辑和生成方面的能力，SVGenius为开发高效的矢量图形处理工具提供了基础。例如，在自动化图标设计、SVG代码优化和风格转换等任务中，SVGenius可以帮助开发者选择最适合的模型或优化现有模型的表现。此外，该数据集还可用于教育和培训，帮助学习者理解SVG处理的最新进展和技术挑战。

衍生相关工作

SVGenius数据集衍生了一系列相关经典工作，包括Iconshop和StarVector等专注于图标设计和生成的模型，以及OmniSVG等处理复杂插图合成的系统。这些工作利用SVGenius提供的评估框架，进一步探索了SVG处理的不同方面。此外，SVGenius还启发了更多关于SVG理解、编辑和生成的研究，推动了矢量图形处理领域的进步。例如，基于SVGenius的评估结果，研究人员开发了更高效的SVG生成模型和更强大的编辑工具，进一步扩展了SVG处理的应用范围。