creative-graphic-design/Desigen

该数据集包含图像、提示、区域、描述、元素和大小等字段。元素字段进一步包含位置、文本和类型等子字段，类型字段包括背景、按钮、电子邮件、图像、链接按钮、数字、密码、单选按钮、范围、搜索、选择、静态文本、提交、电话、文本和文本区域等类别。数据集分为训练集和验证集，训练集包含36322个样本，验证集包含999个样本。该数据集包含图像、提示、区域、描述、元素和大小等字段。元素字段进一步包含位置、文本和类型等子字段，类型字段包括背景、按钮、电子邮件、图像、链接按钮、数字、密码、单选按钮、范围、搜索、选择、静态文本、提交、电话、文本和文本区域等类别。数据集分为训练集和验证集，训练集包含36322个样本，验证集包含999个样本。

原始信息汇总

数据集概述

数据集特征

• image: 图像数据类型。
• prompt: 字符串数据类型。
• region: 序列类型，包含4个整数。
• description: 字符串数据类型。
• elements: 序列类型，包含以下子特征：
  • position: 序列类型，包含4个整数。
  • text: 字符串数据类型。
  • type: 分类标签，包含以下类别：
    • background
    • button
    • email
    • image
    • link-button
    • number
    • password
    • radio
    • range
    • search
    • select
    • static-text
    • submit
    • tel
    • text
    • textarea
• size: 序列类型，包含2个整数。

数据集划分

• train: 包含36322个样本，总大小为14008157713.73字节。
• validation: 包含999个样本，总大小为447117411.0字节。

数据集大小

• 下载大小: 14110814201字节。
• 数据集总大小: 14455275124.73字节。

搜集汇总

数据集介绍

构建方式

Desigen数据集专注于网页广告设计领域，旨在为可控的设计模板生成提供高质量的数据支撑。该数据集通过收集大量带有背景图像、内容提示、布局元素标注及画布尺寸信息的设计样本构建而成。数据以Parquet格式分片存储，并托管于HuggingFace平台，便于高效加载与处理。训练集包含36,322个样本，验证集包含999个样本，确保模型在充足数据下进行训练与评估。

特点

Desigen数据集的核心特点在于其丰富的结构化标注信息。每个样本包含背景图像、文本提示、设计描述、画布尺寸以及详细的布局元素标注。布局元素涵盖了16种类型，如按钮、文本框、图片、链接按钮等，每种元素均附有边界框坐标和对应文本。这种精细的标注体系使得数据集能够支持从图像到文本、从文本到图像的多模态任务，尤其适用于可控的广告设计模板生成。

使用方法

使用Desigen数据集时，可通过HuggingFace的datasets库直接加载，指定配置为'default'并选择训练或验证分片。加载后的数据包含image、prompt、region、description、elements和size六个字段。研究者可基于这些字段构建图像生成、布局预测或元素识别等模型。建议将数据划分为训练集和验证集，其中训练集包含36,322个样本，验证集包含999个样本，以进行模型训练与性能评估。

背景与挑战

背景概述

Desigen数据集由Haohan Weng、Danqing Huang等研究人员于2024年在CVPR会议上提出，旨在解决可控设计模板生成这一核心问题。该数据集专注于网络广告设计领域，包含了超过3.6万张训练样本和近千张验证样本，每张样本均由背景图像、内容提示、布局元素标注及设计画布尺寸构成。其研究背景源于图形设计自动化中对于布局、文本与图像元素协同控制的需求，Desigen通过提供细粒度的元素类型（如按钮、输入框、静态文本等）和位置信息，为生成式模型提供了结构化的训练基础，对视觉语言模型在广告设计领域的应用产生了重要影响。

当前挑战

Desigen数据集面临的主要挑战体现在两个方面。在领域问题层面，如何实现从文本提示到复杂广告布局的精准可控生成是一大难题，现有模型往往难以同时兼顾元素的空间位置、类型语义与视觉美观度。在构建过程中，数据集需要处理来自真实广告设计的异构数据，包括不同尺寸的画布、多样化的元素组合以及背景与前景的协调性，标注质量的一致性也因元素类型繁多而难以保证。此外，由于广告设计涉及版权与隐私问题，数据集的公开性受到限制，进一步增加了研究的复现与推广难度。

常用场景

经典使用场景

Desigen数据集在可控设计模板生成领域扮演着基石角色，其经典使用场景聚焦于条件图像生成与布局可控的视觉内容合成。研究者利用该数据集中的背景图像、内容提示词、布局元素标注及画布尺寸等结构化信息，训练模型在给定背景与文字约束下，自动生成具有合理元素排布与视觉层次感的设计模板。这一场景尤其适用于广告横幅、社交媒体配图等需要同时考虑美学与信息传达的平面设计任务，推动生成式模型从自由创作迈向结构化、可控化的设计辅助方向。

衍生相关工作

Desigen数据集衍生了一系列经典研究工作，涵盖可控布局生成、多模态条件扩散模型与设计智能体等前沿方向。其中，基于扩散模型的布局条件生成方法借鉴了Desigen中元素类型与位置标注的联合建模思路，实现了像素级精确的模板合成；部分工作进一步将Desigen作为基准，探索了大语言模型与视觉生成模型的协同机制，例如通过语言指令动态调整布局优先级。此外，该数据集还催生了面向UI自动化设计的评估协议，推动学界对设计模板生成质量的量化评价体系走向成熟。

数据集最近研究

最新研究方向

在计算视觉与图形设计交叉领域，Desigen数据集的出现为可控设计模板生成开辟了全新范式。该数据集聚焦于网页广告设计这一高价值应用场景，提供了包含背景图像、内容提示、布局元素标注及画布尺寸的精细化多模态数据。其前沿研究方向紧密围绕生成式人工智能的可控性挑战，结合CVPR 2024提出的管线化方法，探索如何将自然语言描述与空间布局约束协同作用于设计生成过程。这一方向与当前AIGC领域追求精准可控内容创作的热点事件相呼应，尤其在设计自动化、广告创意优化等实际场景中具有显著影响力。通过提供结构化的元素类型标签与区域标注，Desigen使得模型能够学习设计语义与空间逻辑的深层映射，为打破传统模板设计的局限性、推动智能化设计工具的发展奠定了关键数据基础。