ArtPlaces

ArtPlaces数据集由德国弗里德里希-亚历山大-埃尔兰根-纽伦堡大学的模式识别实验室创建，包含4623件艺术品，主要用于艺术场景识别和香氛空间分类。数据集通过从Rijksmuseum和Wikidata等文化遗产数据源中检索图像并使用查询词作为弱标签来创建。数据集的创建旨在通过视觉数据探索历史艺术作品中的嗅觉场景，解决在历史和文化研究中对嗅觉的忽视问题。

ArtPlaces dataset was developed by the Pattern Recognition Lab at Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU), Germany. It contains 4,623 artworks, and is primarily intended for art scene recognition and olfactory space classification. The dataset is constructed by retrieving images from cultural heritage data sources such as the Rijksmuseum and Wikidata, using query terms as weak labels. The creation of this dataset aims to explore olfactory scenes in historical artworks via visual data, addressing the neglect of olfaction in historical and cultural studies.

原始信息汇总

数据集概述

数据集名称

• ArtPlaces

数据集描述

• 背景：嗅觉在文化传承研究中常被忽视，但在塑造人类体验和身份方面具有深远意义。通过研究历史上的嗅觉场景描绘，可以深入了解气味在历史中的作用。
• 目标：解决自然图像与艺术作品中芳香空间表现之间的领域转移问题。

数据集组成

• RASD：包含704幅艺术作品，通过查询Rijksmuseum构建。
• WASD：包含3691幅艺术作品，通过查询Wikidata构建。
• Fragrant-Places：由ODOR数据集的228幅艺术作品手动审查创建。
• ArtPlaces数据集分割：
  • ArtPlace_Train：包含RASD和WASD的剩余部分。
  • ArtPlaces-test：包含Fragrant-Places以及RASD和WASD的手动校正部分。

数据集构建方法

• 数据来源：Rijksmuseum和Wikidata。
• 构建方式：使用搜索词作为监督信号进行查询构建。

数据集应用

• 模型评估：使用Fragrant-Places和ArtPlaces-test进行模型评估。
• 研究意义：为芳香空间识别和艺术场景分类提供基础。

数据集链接

• RASD数据集下载：RASD.zip

搜集汇总

数据集介绍

构建方式

ArtPlaces数据集的构建旨在通过转移学习的方法，利用弱标签训练数据来提升芳香空间的分类效果。研究团队通过查询两个文化遗产数据源，并使用搜索词作为监督信号，对预训练的Places365模型进行微调。该数据集的构建过程包括从Rijksmuseum和Wikidata中检索图像，并将这些图像与Places365的365个场景类别进行匹配。研究团队还对ODOR数据集中的所有艺术品进行了手动审查，并为其分配了Places365标签，以便测试算法对芳香空间的分类能力。最后，将这三个数据源结合，形成了ArtPlaces数据集。

特点

ArtPlaces数据集的特点在于其专注于艺术场景的分类，特别是芳香空间的识别。该数据集包含了3804个弱标签艺术作品用于训练，以及975个手动标签艺术作品用于评估艺术场景识别系统。数据集的多样性体现在覆盖了超过100个场景类型，且通过多标签标记，为未来的多标签方法提供了可能。然而，数据集也面临类别不平衡的问题，以及部分标签质量不高的问题。为了解决这些问题，研究团队采取了多种策略，包括手动过滤噪声数据、移除重复图像以及排除问题标签数据。

使用方法

ArtPlaces数据集的使用方法包括利用弱标签进行模型微调，以及使用手动标签进行模型评估。研究团队使用ResNet50、ResNet18、DenseNet161和WaveMix等分类网络，并在Places365-Standard数据集上预训练这些模型。然后，他们使用ArtPlaces-train数据集对模型进行微调，并使用Fragrant-Spaces和ArtPlaces-test数据集来评估模型的性能。研究结果表明，微调后的模型在识别芳香空间和一般艺术场景方面的能力得到了显著提升。此外，研究团队还进行了跨数据集评估，以分析不同数据集对模型性能的影响。

背景与挑战

背景概述

艺术场所（ArtPlaces）数据集的创建是为了解决在文化遗产研究中常常被忽视的嗅觉问题。该数据集由德国埃尔朗根-纽伦堡大学模式识别实验室的研究人员于2024年7月创建，旨在探索历史艺术作品中嗅觉场景的描绘及其在历史中的作用。研究小组通过使用弱标签训练数据进行迁移学习方法，显著提高了芬芳空间的分类准确率，并为进一步探索芬芳空间识别和艺术场景分类奠定了基础。ArtPlaces数据集包含4623幅艺术作品，包括3804幅弱标签训练图像和975幅手动标签评估图像，为艺术场景识别系统的研究提供了宝贵的资源。

当前挑战

ArtPlaces数据集面临的挑战主要包括：1) 嗅觉场景的分类挑战，由于缺乏针对历史艺术作品的嗅觉场景分类数据集，直接训练分类模型面临困难；2) 构建过程中遇到的挑战，如弱标签的质量控制、数据不平衡、艺术场景的模糊性和抽象性等。这些挑战要求研究人员在数据集构建和应用中采取有效的策略，例如使用迁移学习方法、扩大数据集规模、改进弱标签质量等，以提高模型在艺术场景识别任务中的表现。

常用场景

经典使用场景

ArtPlaces数据集主要应用于艺术场景识别，特别是对于历史艺术品中的香氛空间的分类。该数据集通过使用弱标签训练数据，显著提高了香氛空间的分类准确性，并为艺术场景的描绘提供了有效的方法。ArtPlaces数据集的构建基于两个文化遗产数据源，使用查询术语作为监督信号，对Places365预训练模型进行微调，并在两个手动校正的测试分割上进行评估。这一工作为香氛空间识别和艺术场景分类的进一步探索奠定了基础。

衍生相关工作

ArtPlaces数据集的构建和研究成果衍生出了许多相关的工作。例如，基于ArtPlaces数据集的香氛空间识别模型可以应用于艺术品的数字化展示和文化遗产保护。此外，ArtPlaces数据集还可以用于艺术研究的领域，帮助研究人员更好地理解和研究历史艺术作品。这些相关工作进一步拓展了ArtPlaces数据集的应用领域，为艺术场景识别和艺术研究提供了新的思路和方法。

数据集最近研究

最新研究方向

在文化遗产研究中，嗅觉往往被忽视，但它对于塑造人类体验和身份具有深远的意义。本研究表明，利用弱标签训练数据进行的迁移学习可以显著提高香氛空间分类的效果，并更广泛地提高艺术场景描述的分类效果。研究者通过查询两个文化遗产数据源并使用搜索词作为监督信号，微调了在Places365上预训练的模型，并在两个手动校正的测试分割上进行评估。这项工作为香氛空间识别和艺术场景分类的进一步探索奠定了基础。

相关研究论文

• Novel Artistic Scene-Centric Datasets for Effective Transfer Learning in Fragrant Spaces

  模式识别实验室，弗里德里希-亚历山大-埃尔兰根-纽伦堡大学 · 2024年