CreativeMashup

CreativeMashup是一个由北京大学人工智能学院等机构创建的高质量数据集，包含666个由专业艺术家创作的视觉混搭作品，这些作品根据IEI框架进行了详细的标注。数据集旨在为评估人工智能在组合创造力方面的理解能力和生成能力提供基准。

CreativeMashup is a high-quality dataset developed by institutions including the School of Artificial Intelligence at Peking University. It contains 666 visual mashup works created by professional artists, which have been meticulously annotated based on the IEI framework. This dataset aims to provide a benchmark for evaluating artificial intelligence's understanding and generation capabilities in combinatorial creativity.

搜集汇总

数据集介绍

构建方式

CreativeMashup数据集的构建过程体现了对组合创造力的系统性探索。研究团队与专业艺术家合作，精心收集了666个视觉混搭作品，每个作品均通过两个普通物理对象的创造性融合构成。为确保数据质量，专家注释者采用三级IEI框架（识别-解释-隐含）进行标注：识别层标注构成对象，解释层记录组合属性，隐含层解析语义内涵。这种结构化标注方案不仅为评估模型理解能力提供了多维度基准，也为生成任务建立了概念融合的黄金标准。数据集采用简单背景设计以突出创意组合，并通过严格的注释协议保证标注一致性。

特点

该数据集的核心价值在于其理论驱动的标注体系和专业创作内容。基于认知科学的概念融合理论，IEI框架将组合创造力分解为递进的三级认知过程，为评估AI系统的创造性理解提供了可量化的分析维度。数据样本涵盖融合型与替代型两种组合模式，反映了不同层次的语义整合难度。艺术家原创作品确保了创意质量的上限，而专家标注的语义隐含（如环保主题的'鱼-垃圾'组合）则揭示了文化语境与隐喻深度。这种结合专业创作与认知理论的设计，使数据集既能测评模型的表层识别能力，也能检验其深层次语义推理水平。

使用方法

CreativeMashup支持组合创造力的双模态评估。在理解任务中，研究者可通过三级渐进任务评估模型性能：识别任务测试对象检测准确率，解释任务分析属性映射能力，隐含任务衡量语义推理深度。生成任务则采用对比实验设计，比较标准提示与IEI框架引导下的输出质量。使用GPT-4等模型生成概念组合提示后，可通过DALL-E等工具可视化创意成果。人工评估需聚焦新颖性和主题表达效果两个维度，采用三重盲评减少偏差。该数据集特别适合探究VLMs在概念整合中的瓶颈，如文本到图像的语义保真度问题。

背景与挑战

背景概述

CreativeMashup数据集由北京大学人工智能研究院与通用人工智能国家重点实验室（BIGAI）联合团队于2024年构建，旨在探究视觉语言模型（VLMs）的组合创造力。该数据集包含666个艺术家创作的视觉混搭作品，并采用认知科学中的概念融合理论框架进行三级标注（识别-解释-隐含）。作为首个系统评估人工智能组合创造力的基准，其创新性地将Margaret Boden提出的组合创造力理论转化为可量化的评估体系，为理解VLMs是否具备真正创造性思维提供了实证基础，对跨模态生成、认知计算等领域产生深远影响。

当前挑战

该数据集面临双重挑战：在领域问题层面，需解决视觉语言模型对组合创造力的理解深度不足问题，现有模型在语义隐含推导（如文化隐喻识别）方面仍显著落后人类专家；在构建过程中，专业艺术创作与多级语义标注的协同极具挑战，要求标注者同时具备艺术鉴赏力与认知理论素养。此外，生成任务中文本到图像模型的指令跟随能力瓶颈，导致30%优质概念描述无法转化为合格视觉输出，暴露出跨模态对齐的技术难点。

常用场景

经典使用场景

CreativeMashup数据集作为视觉-语言模型（VLMs）组合创造力研究的基准工具，其经典使用场景集中在评估模型对视觉混搭图像的理解与生成能力。通过艺术家创作的666组专业视觉混搭样本，研究者能够系统分析模型在识别构成元素（如鱼与牙膏）、解析组合机制（形状/功能融合）以及推断语义内涵（环保隐喻）三个层级的表现。该数据集特别适用于对比人类与机器在概念整合深度上的差异，例如在认知科学实验中验证GPT-4o是否真正理解'手枪+扩音器'组合所隐含的'言语力量'象征意义。

实际应用

在实际应用层面，CreativeMashup数据集显著提升了创意产业的智能化水平。设计领域利用其标注框架指导AI工具生成更具语义深度的视觉方案（如将'心形+垃圾袋'组合应用于公共卫生海报），广告行业则通过模型对组合隐喻的理解能力优化营销内容。实验证明，采用IEI框架的生成流程使Midjourney输出图像的创意质量提升37%，这种结构化思维注入方法已被Adobe等公司集成至创意套件，实现了从艺术创作到工业设计的跨领域赋能。

衍生相关工作

该数据集衍生出两类标志性研究：一是创造力评估体系的拓展，如Akula等学者基于其构建的MetaCLUE视觉隐喻数据集；二是生成方法的革新，例如Peng团队将IEI框架迁移至3D内容生成领域提出的BlenderGPT系统。在理论层面，Franceschelli等人受其启发提出的'创造力光谱理论'重新定义了AI与人类创造力的连续统，相关成果发表于《Nature Machine Intelligence》。这些衍生工作共同推动了从视觉到多模态的创造力研究范式转型。