TASTE

TASTE是一个设计师标注的多维度偏好数据集，用于AI生成的平面设计，包含设计师对多个美学和描述忠实度维度的排名，以及一个基于此训练的小型偏好模型。

TASTE is a designer-annotated multi-dimensional preference dataset for AI-generated graphic design, which includes rankings by designers across multiple aesthetic and descriptive faithfulness dimensions, as well as a small preference model trained on this dataset.

原始信息汇总

TASTE 数据集概述

TASTE 是一个由设计师标注的多维偏好数据集，专注于 AI 生成的平面设计评估，涵盖多个美学和描述忠实度维度。该数据集源自同名论文《TASTE: A Designer-Annotated Multi-Dimensional Preference Dataset for AI-Generated Graphic Design》。

数据集核心信息

• 托管平台：Hugging Face Hub，数据集标识为 purvanshi/TASTE
• 数据集性质：包含设计师小组对 AI 生成的平面设计进行排名的人工标注偏好数据，涵盖多个美学和描述忠实度维度
• 配套模型：附带一个基于该数据集训练的轻量偏好模型（TASTE preference model）
• 论文来源：arXiv:2605.20731
• 合作方：Lica World 与 Contra 联合研究

数据集用途

数据集可用于以下场景：

• 多维偏好模型的训练与评估
• 平面设计美学维度的信号验证与分布测试
• 开放权重 VLM 作为评判标准的基准测试
• 幻觉标记一致性分析

代码仓库结构

该数据集对应的代码仓库位于 github.com/purvanshi-lica/taste，包含三个独立模块：

目录	功能说明
analysis/	数据集的论文分析内容，包括信号验证分布测试、开放权重 VLM 评判基准、幻觉标记一致性分析
data/	数据集处理脚本，用于从 Hugging Face Hub 下载本地快照，生成每个维度的排序 CSV 文件以及成对比较结果
taste-scorer/	可 pip 安装的 TASTE 偏好模型推理工具，从图像对和提示中输出各维度的“设计师小组偏好哪个设计”的概率

使用说明

三个模块相互独立，可按需安装。数据集本身不直接提交在 GitHub 仓库中，需从 Hugging Face Hub 获取。设计师身份在发布前已进行匿名化处理。

相关资源链接

• 代码仓库：https://github.com/purvanshi-lica/taste
• 论文：https://arxiv.org/abs/2605.20731
• 论文 PDF：https://arxiv.org/pdf/2605.20731
• 数据集：https://huggingface.co/datasets/purvanshi/TASTE
• 模型检查点：https://storage.googleapis.com/lica-assets/TASTE/TASTE_Checkpoint.zip
• 偏好模型使用的骨干网络：https://huggingface.co/Qwen/Qwen3-VL-Embedding-2B

许可协议

MIT 许可证

搜集汇总

数据集介绍

构建方式

TASTE数据集专为AI生成平面设计的多维偏好评估而构建，其核心数据源自设计专家小组对AI产出图形设计作品的排序结果。数据集通过精心设计的标注流程，邀请多位专业设计师对同一组AI生成的设计方案进行偏好排名，覆盖了从审美质量到描述忠实度等多个美学与语义维度。所有数据均托管于Hugging Face Hub，处理脚本则存放于代码仓库的data/目录下，支持用户下载本地快照并导出每个维度的排名CSV文件及成对比较数据，为后续分析与模型训练奠定基础。

特点

该数据集最为显著的特点在于其多维度的偏好标注结构，它并非仅提供单一的整体偏好分数，而是从多个细粒度美学维度出发，分别记录设计专家对每一对设计方案的相对偏好，使得AI生成设计的评估更加精准和全面。数据集还配套发布了一个轻量级的可安装偏好评分模型，能够依据任意图像对和文本提示，输出每个维度上的偏好概率。识别信息在发布前已被遮蔽，确保评估者的匿名性，进一步提升了数据集的伦理合规性与可靠性。

使用方法

研究者可通过两种主要方式利用TASTE数据集。其一，可直接从Hugging Face Hub获取原始数据集，结合仓库data/目录下的处理脚本进行本地化探索与统计分析。其二，可安装taste-scorer模块，利用预训练的偏好模型对新生成的图像对进行多维度的偏好预测，只需输入图像对和对应的提示文本即可获得各维度的评分概率。此外，analysis/目录中的代码完整复现了论文中的验证实验，包括信号有效性分布检验及VLM评判基准，为后续方法的对比提供了可靠的实验框架。

背景与挑战

背景概述

TASTE数据集由Lica World与Contra联合发布，其核心研究团队包括Haonan Zhu、Elad Hirsch等人，论文发表于2026年。该数据集聚焦于人工智能生成图形设计的审美偏好评估，旨在弥补当前生成式设计领域缺乏细粒度、多维度人工标注偏好数据的空白。通过收集设计师对AI生成作品在多个美学维度及提示符合度上的排序，TASTE为跨维度偏好建模提供了首个设计领域专家标注的基准。其影响力体现在推动了从单一视觉质量评分向多轴偏好理解的范式转变，为生成式设计工具的人机对齐评估奠定了数据基础。

当前挑战

该领域面临的挑战在于，AI生成的图形设计质量评估高度主观，传统自动指标（如FID）难以捕捉设计中的美学层次和语义忠实度。TASTE通过构建包含描述忠实度、视觉吸引力等维度的专家排序体系，试图解决这一评估困境。数据构建过程中遇到的挑战包括：设计师评价标准的高度异质性、多维度排名的逻辑连贯性维护，以及标注者隐私保护与数据共享之间的平衡。此外，确保跨设计师偏好的一致性并剔除噪音（如幻觉标注）是保证数据集科学性的关键难点。

常用场景

经典使用场景

在人工智能生成内容（AIGC）领域，图形设计作为视觉传达的核心载体，长期面临美学品质与语义忠实度难以量化评估的困境。TASTE数据集专为这一挑战设计，其经典使用场景在于为文本到图像（Text-to-Image）模型生成的平面设计作品提供多维度、专家标注的相对偏好排序。研究者可借助该数据集，系统性地评测生成模型在色彩和谐、构图平衡、字体可读性、品牌一致性以及提示词匹配度等关键审美维度上的表现，从而超越单指标的自动评测范式，构建更贴近人类设计师感知的评估体系。

衍生相关工作

围绕TASTE数据集已衍生出多项富有影响力的研究工作。首先，数据集的发布催生了一类新的基准评测任务——多维度设计偏好排序挑战，大量后续研究将其作为微调视觉-语言模型的奖励信号来源，以优化生成控制能力。其次，分析部分中基于开放权重VLM作为评审的基准测试，推动了视觉语言模型在审美判断任务上的比较研究。此外，幻觉标记一致性检验工作启发了关于设计生成中文本-图像语义忠实性的独立研究方向，使得TASTE成为连接生成式美学评估与多模态理解两大领域的桥梁性资源。

数据集最近研究

最新研究方向

TASTE数据集聚焦于AI生成平面设计的多维偏好评估，填补了该领域专业设计师标注数据的空白。研究团队通过收集设计师对AI生成作品在美学质量和描述忠实度多个维度的排序偏好，构建了首个此类标注语料库。该数据集支持训练轻量级偏好模型，并可用于评估开源视觉语言模型作为评判者的可靠性，特别是在幻觉检测方面。这一工作与当前AI生成内容质量评估的热点需求紧密相关，为提升AI设计工具的专业性和可控性提供了重要基准，对推动生成式AI在创意产业中的责任落地具有显著意义。