creative-graphic-design/AesEvalBench

AesEval-Bench是一个用于评估视觉语言模型是否能评估平面设计美学的基准测试。该基准测试包含扰动后的平面设计样本，包括预览图像、高亮预览、元素级元数据和美学问题标签。基准测试涵盖四个维度和十二个指标：布局（平衡、层次、留白、对齐）、排版（可读性、层次）、图形（质量、相关性）和颜色（和谐、对比、吸引力、心理学）。原始评估代码支持二元美学判断、问题区域选择和边界框定位，而Hugging Face加载器在单个test分割中公开基准样本和标签。AesEval-Bench is a benchmark for evaluating whether vision-language models can assess graphic design aesthetics. The benchmark contains perturbed graphic design samples with preview images, highlighted previews, element-level metadata, and labels for aesthetic issues. The benchmark spans four dimensions and twelve indicators: Layout (balance, layering, whitespace, alignment), Typography (legibility, hierarchy), Graphics (quality, relevance), and Color (harmony, contrast, appeal, psychology). The original evaluation code supports binary aesthetic judgment, problematic-region choice, and bounding-box localization. This Hugging Face loader exposes the benchmark samples and labels in a single `test` split.

搜集汇总

数据集介绍

构建方式

AesEval-Bench 数据集旨在系统评估视觉语言模型对平面设计美学质量的评判能力。其构建依托于对原始设计样本的精细扰动操作，通过引入布局、排版、图形与色彩四个维度的十二项具体美学指标，如平衡性、层次感、可读性等，生成包含问题预览图、高亮预览图、元素级元数据及美学缺陷标签的扰动样本。每一样本均源自真实设计作品，经专家与自动化方式联合标注，以确保评判标准的专业性与广泛覆盖性。数据集以单一测试集形式发布，包含1198个样本，每个样本均提供完整的设计画布尺寸、标题、类别等元信息，以及基于元素的细粒度属性描述与边界框标注，为多模态模型提供了结构化的美学评估任务框架。

特点

AesEval-Bench 的突出特点在于其多维美学评估体系与细粒度的标注层次。数据集不仅要求模型对设计作品做出整体性的二元美学判断，更进一步设计了问题区域选择与边界框定位的进阶任务，能够深入考察模型对具体美学缺陷的识别与定位能力。每个样本均包含原始预览图与高亮预览图双重视觉输入，配合元素级图像与简化元数据，使得评估过程兼具全局与局部视角。此外，任务标签以结构化形式覆盖十二个美学指标的正负样本，而真实标注则记录了每个问题的具体元素索引、属性类型及精确位置，为研究者提供了从宏观评判到微观分析的多层次评估可能性。

使用方法

使用 AesEval-Bench 数据集时，研究者可直接通过 Hugging Face 数据集加载器获取预处理后的测试分割数据。数据以表格形式呈现，每一行对应一个扰动设计样本，包含预览图像、高亮图像、元素图像列表以及任务标签与真实标注等关键字段。模型的预测结果可通过三种方式与真值比对：二元美学判断可直接与 task_labels 中的 has_issue 字段匹配；问题区域选择任务需利用 preview_highlight 或 gt_annotations 中的元素索引；边界框定位任务则需预测 gt_annotations 提供的坐标与尺寸。数据集来源为原始仓库的 Google Drive 归档文件，加载器支持自动下载或本地路径传入，便于离线研究与大规模实验部署。

背景与挑战

背景概述

AesEvalBench是由Arctanx、孙世照、黄丹青等研究者于2026年提出的基准数据集，其诞生源于视觉语言模型在图形设计美学评估领域的显著空白。尽管当代多模态模型在图像描述和视觉问答等任务上表现卓越，但在理解设计作品中布局、排版、色彩与图形四大维度的审美品质时，仍缺乏系统化的评测机制。该数据集精心构建了1198个带有扰动与篡改痕迹的图形设计样本，每个样本均配有预览图、高亮标注、元素级元数据及多位专家标注的审美问题标签，旨在全面评估模型对设计美学的感知与判别能力。研究成果发表于ICLR 2026，为视觉语言模型在创意设计领域的应用树立了重要的评测基准，推动了人工智能对设计美学这一主观而复杂的课题的深入探索。

当前挑战

AesEvalBench直面视觉语言模型在图形设计美学评估中的核心挑战。领域问题层面，设计美学区别于自然图像美学，其评判依据涵盖布局平衡、文字层级、图形质量与色彩和谐等十二个精细指标，要求模型不仅理解全局构图，还需捕捉元素间的空间关系与功能逻辑，这远超传统视觉分类或目标检测任务的能力边界。构建挑战方面，研究者需要从真实设计作品中系统性地引入美学瑕疵，同时保证专家标注的一致性与客观性，每个样本涉及的扰动类型、元素级元数据及边界框定位信息需精确对齐，且样本规模需在有限资源内兼顾多样性，以支撑二值审美判断、问题区域选择与边界框定位三种评测任务的可靠性，工作复杂度与专业性要求极高。

常用场景

经典使用场景

在视觉语言模型迅猛发展的当下，如何量化评估其对图形设计美学的感知能力成为一项亟待攻克的挑战。AesEval-Bench 在此背景下应运而生，专为评测视觉语言模型在布局、排版、图形与色彩四个美学维度上的判别力而设计。该数据集包含 1198 个经过精心扰动的图形设计样本，每个样本均提供预览图、高亮标注图、元素级元数据及美学问题标签。其经典使用方式为：给定设计图像及对应的美学维度，要求模型执行二元美学判断、有问题的区域选择或边界框定位等任务，从而系统性地衡量模型对设计美学特征的识别与理解水平。

实际应用

在工业界，AesEval-Bench 能直接服务于图形设计自动化与辅助设计系统的质量检验环节。例如，企业可利用该基准评估 AI 排版工具对版面平衡与留白问题的敏感度，或检验色彩推荐算法在和谐性与对比度上的表现。此外，在数字营销与品牌设计中，该数据集可用于自动检测海报、广告图的排版异常与配色冲突，帮助设计师快速定位视觉缺陷。对于社交媒体内容审核平台，AesEval-Bench 还可辅助识别低质或不符合品牌规范的自动生成图像，从而提升用户体验与品牌一致性。

衍生相关工作

AesEval-Bench 的提出催生了一系列后续研究工作。一方面，基于其标注体系，研究者开发了针对具体美学维度（如色彩和谐度或排版可读性）的专用神经评估网络；另一方面，其公开的扰动策略（如对元素位置、大小、颜色的系统性修改）被广泛借鉴，用于构建针对性的对抗训练数据集以提升设计美学鲁棒性。此外，该数据集还作为核心评测基准出现在多模态基础模型的比较研究和新发布的图形设计理解榜单中，形成了以 AesEval-Bench 为中心的学术评价生态。