MMArt

MMArt 是一个大规模的多视角多模态视觉艺术理解数据集，包含 74,234 幅 WikiArt 绘画作品。每幅作品由专业模型从四个独立的角度进行注释：叙事与场景、形式分析、情感反应和历史背景，以及一个统一的综合描述。数据集涵盖了 20 种艺术风格和 743 位艺术家的作品，每个绘画样本包含 5 个文本字段，平均每个视角的描述长度为 70-80 字。数据集适用于图像到文本生成、艺术描述生成和检索等任务。文本注释由作者原创，绘画图像未包含在数据集中，需通过 WikiArt.org 获取。数据集采用 CC BY 4.0 许可发布。

MMArt is a large-scale multi-view multimodal visual art understanding dataset that contains 74,234 paintings from WikiArt. Each painting is annotated by professional models from four independent perspectives: narrative and scene, formal analysis, emotional response, and historical background, along with a unified comprehensive description. The dataset covers works of 20 art styles and 743 artists, with each painting sample containing 5 text fields, and the average description length per perspective falls between 70 and 80 words. This dataset is applicable to tasks such as image-to-text generation, art description generation and retrieval. The textual annotations are original works of the authors, while the painting images are not included in the dataset and must be obtained via WikiArt.org. The dataset is released under the CC BY 4.0 license.

搜集汇总

数据集介绍

构建方式

在视觉艺术理解领域，MMArt数据集的构建体现了多模型协同标注的前沿理念。该数据集以WikiArt平台上的74,234幅绘画作品为基础，通过精心设计的自动化流程生成多视角文本描述。具体而言，每幅画作分别由四个专用模型从叙事、形式、情感及历史四个独立维度进行解读：叙事与场景描述由Qwen3-VL-8B-Instruct模型生成；形式分析依托基于LLaVA-7B微调的GalleryGPT模型完成；情感响应则结合Qwen3-VL-8B-Instruct与ARTEMIS-v2众包反应数据；历史语境解读采用检索增强生成技术，利用sentence-transformers模型从艺术史文献中检索相关知识片段。最终，通过Qwen3-8B模型将四个视角融合为统一描述，形成结构化的多模态艺术数据集。

特点

MMArt数据集的核心特点在于其多层次、结构化的艺术注解体系。数据集涵盖20种艺术风格与743位艺术家，每幅作品均配备五类文本字段，包括四个独立视角的专项描述与一个综合统一描述，平均每段描述长度达70至80词。尤为突出的是，情感视角的描述中99%均与ARTEMIS-v2众包情感数据相锚定，确保了情感解读的客观性与可验证性。数据字段设计兼具全面性与细粒度，不仅包含作品元数据，还提供艺术风格分类、主导情感标签及检索相似度等量化指标，为艺术理解研究提供了丰富而可靠的语义基础。

使用方法

研究者可通过HuggingFace的datasets库直接加载MMArt数据集，利用标准接口访问训练集中的画作注解。由于版权限制，数据集仅包含文本标注，原始图像需通过WikiArt平台获取，用户可依据image_id字段提供的相对路径定位对应作品。该数据集适用于多模态任务研究，如图像描述生成、跨模态检索、艺术风格分析及情感计算等方向。在具体应用中，可分别调用各视角描述字段进行专项分析，或利用统一描述字段开展综合性艺术理解实验，为探索计算美学与艺术认知提供了标准化数据支撑。

背景与挑战

背景概述

在数字人文与计算机视觉交叉领域，艺术图像的理解长期面临语义鸿沟的挑战。MMArt数据集由Shuai Wang等研究人员于2026年构建，旨在通过多视角标注框架深化视觉艺术的理解。该数据集基于WikiArt平台，收录了74,234幅绘画作品，每幅作品均从叙事、形式、情感与历史四个独立维度生成专业解读，并融合为统一描述。其核心研究问题在于突破传统图像描述的单一片面性，为多模态艺术分析提供结构化、细粒度的语义资源，推动艺术智能向解释性、上下文感知的方向演进。

当前挑战

MMArt数据集致力于解决艺术理解中多维度语义解析的复杂挑战，其核心在于如何将主观、抽象的艺术体验转化为可计算的多视角文本表征。构建过程中的挑战尤为显著：首先，需协调不同专业模型（如Qwen3-VL-8B-Instruct、GalleryGPT）生成风格一致且深度各异的描述；其次，历史上下文依赖检索增强生成技术，需确保艺术史知识的准确性与相关性；此外，情感标注需与ARTEMIS-v2众包数据对齐，以保障情感反应的客观基础。这些挑战共同指向了跨模态艺术数据在规模性、一致性与解释性上的平衡难题。

常用场景

经典使用场景

在视觉艺术理解领域，MMArt数据集为多模态学习提供了丰富的研究素材。其经典使用场景集中于艺术图像的跨模态检索与描述生成，通过整合叙事、形式、情感与历史四个独立视角的标注，支持模型从多维度解析绘画内容。研究者可基于该数据集训练图像到文本的生成模型，或构建检索系统，实现艺术作品的语义匹配与深度理解，推动艺术智能向更细腻、更全面的方向发展。

解决学术问题

MMArt数据集有效应对了艺术计算中单一视角描述的局限性问题。传统艺术数据集往往仅提供简短标题或类别标签，难以捕捉作品的多重内涵。该数据集通过引入多视角标注，解决了艺术图像语义丰富性建模的挑战，为研究多模态融合、视角对齐与知识增强提供了基准。其意义在于促进了艺术理解从表面识别向深层解释的转变，为跨学科艺术研究奠定了数据基础。

衍生相关工作

围绕MMArt数据集，已衍生出多项经典研究工作。例如，基于其多视角标注的融合方法研究，探索如何将叙事、形式、情感与历史信息有效整合为统一描述；在跨模态检索方向，研究者利用该数据集训练视觉-语言对齐模型，提升艺术图像的语义搜索性能；同时，其情感标注部分与ARTEMIS-v2的衔接，也推动了艺术情感计算模型的演进，为情感感知的图像描述生成提供了新思路。