Curated Comparative Dataset|视觉主题识别数据集|艺术研究数据集

arXiv2024-10-21 更新2024-10-23 收录

视觉主题识别

艺术研究

下载链接：

http://arxiv.org/abs/2410.15866v1

下载链接

链接失效反馈

资源简介：

Curated Comparative Dataset是由庞培法布拉大学开发的一个用于视觉主题识别的数据集，包含10760张图像，涵盖20种不同的视觉主题。数据集的创建旨在全面展示这些主题的特征、变体和细微差别，涵盖各种媒体、时期和来源。数据集的创建过程结合了艺术专家的意见，确保了数据集的质量和代表性。该数据集主要应用于视觉艺术和媒体研究领域，旨在通过自动识别和分类视觉主题，减轻研究人员的工作负担，并激发艺术家和内容创作者在创作中融入特定主题。

提供机构：

庞培法布拉大学

创建时间：

2024-10-21

AI搜集汇总

数据集介绍

构建方式

在电影艺术中，视觉母题是具有艺术或美学意义的重复性图像组合。为了识别和分类这些母题，研究团队精心构建了一个名为‘Curated Comparative Dataset’的数据集。该数据集包含10,760张图像，涵盖20种不同的视觉母题，如‘Autograph’、‘Brawl’和‘Pietà’等。这些图像来自电影、电视节目、新闻报道、绘画、漫画等多种视觉媒介。每张图像不仅标注了主要母题，还可能标注了次要母题，以反映图像中可能存在的多重母题。此外，图像还根据其在母题中的典型性被标记为‘Red Flag’、‘Canonical’或未标记，以提供更细致的训练数据。

特点

‘Curated Comparative Dataset’数据集的显著特点在于其多样性和细致的标注系统。数据集不仅涵盖了广泛的视觉媒介和历史时期，还通过多重母题标注和典型性标记，捕捉了视觉母题的复杂性和细微差别。这种细致的标注方法使得数据集能够更准确地反映视觉母题在不同艺术形式中的表现，从而为机器学习模型提供了丰富的训练数据。此外，数据集的构建过程中融入了艺术史专家的见解，确保了数据集在学术和艺术上的可靠性。

使用方法

该数据集主要用于训练和测试视觉母题识别的机器学习模型。研究团队利用预训练的CLIP模型提取图像特征，并在此基础上训练了一个浅层网络，使用适当的损失函数进行分类。数据集的多重母题标注和典型性标记为模型提供了丰富的信息，使其能够更准确地识别和分类视觉母题。研究结果表明，基于CLIP特征的模型在测试集上达到了0.91的F1分数，显示出其在视觉母题识别任务中的高效性和准确性。未来，该数据集还可用于扩展和改进现有的视觉母题识别模型，以及探索视觉母题在不同艺术形式中的表现。

背景与挑战

背景概述

视觉主题识别在电影艺术中具有重要意义，它涉及识别和分类那些在视觉艺术和媒体中反复出现的具有艺术或美学意义的图标性构图。Curated Comparative Dataset由Universitat Pompeu Fabra的研究团队开发，旨在通过机器学习模型自动识别和分类这些视觉主题。该数据集包含了10,760张图像，涵盖20种不同的视觉主题，如Autograph、Brawl、Duel等。数据集的构建不仅考虑了图像的多样性，还引入了多标签分类和图像特征标签系统，以更准确地反映视觉主题的复杂性和主观性。该数据集的开发标志着在数字人文领域中，视觉主题自动检测研究的新进展，为艺术史和视觉文化研究提供了有力的工具。

当前挑战

Curated Comparative Dataset在构建过程中面临多项挑战。首先，视觉主题的定义和识别具有高度主观性，这要求数据集在标注时需考虑多种可能的解释和细微差别。其次，数据集的规模相对较小，这限制了模型的训练效果，尤其是在处理复杂的多标签分类任务时。此外，视觉主题的多样性和跨媒体特性使得特征提取和模型训练更加复杂。尽管如此，通过利用如CLIP这样的预训练模型，研究团队成功地提取了具有代表性的特征，并训练了一个高效的分类模型，但其性能仍依赖于数据集的质量和多样性。未来的研究需要进一步扩展数据集，增加视觉主题的种类和图像数量，以提升模型的泛化能力和识别精度。

常用场景

经典使用场景

Curated Comparative Dataset在视觉艺术和电影研究领域中，被广泛用于识别和分类视觉母题（Visual Motifs）。通过利用CLIP模型提取的特征，该数据集训练了一个浅层网络，能够高效地将图像分类为20种不同的视觉母题，如Pietà、Hug和Mirror等。这一应用不仅展示了数据集在图像分类任务中的强大能力，还为艺术史和视觉文化研究提供了新的工具。

衍生相关工作

Curated Comparative Dataset的发布和应用催生了一系列相关研究和工作。例如，基于该数据集的研究已经扩展到其他艺术形式，如摄影和电视系列，进一步验证了视觉母题在不同媒体中的普遍性和重要性。此外，研究人员还探索了如何利用其他深度学习模型，如DINOv2和Detectron2，来增强视觉母题的识别能力。这些衍生工作不仅丰富了数据集的应用场景，还推动了计算机视觉在艺术和人文领域的深入研究。

数据集最近研究

相关研究论文

1
Visual Motif Identification: Elaboration of a Curated Comparative Dataset and Classification Methods庞培法布拉大学 · 2024年

以上内容由AI搜集并总结生成

用户留言

有没有相关的论文或文献参考？

这个数据集是基于什么背景创建的？

数据集的作者是谁？

能帮我联系到这个数据集的作者吗？

这个数据集如何下载？

点击留言

数据主题

具身智能

数据集 4099个

机构 8个

大模型

数据集 439个

机构 10个

无人机

数据集 37个

机构 6个

指令微调

数据集 36个

机构 6个

蛋白质结构

数据集 50个

机构 8个

空间智能

数据集 21个

机构 5个

5,000+

优质数据集

54 个

任务类型

进入经典数据集

热门数据集

中国食物成分数据库

食物成分数据比较准确而详细地描述农作物、水产类、畜禽肉类等人类赖以生存的基本食物的品质和营养成分含量。它是一个重要的我国公共卫生数据和营养信息资源，是提供人类基本需求和基本社会保障的先决条件；也是一个国家制定相关法规标准、实施有关营养政策、开展食品贸易和进行营养健康教育的基础，兼具学术、经济、社会等多种价值。本数据集收录了基于2002年食物成分表的1506条食物的31项营养成分（含胆固醇）数据，657条食物的18种氨基酸数据、441条食物的32种脂肪酸数据、130条食物的碘数据、114条食物的大豆异黄酮数据。

国家人口健康科学数据中心收录

HazyDet

HazyDet是由解放军工程大学等机构创建的一个大规模数据集，专门用于雾霾场景下的无人机视角物体检测。该数据集包含383,000个真实世界实例，收集自自然雾霾环境和正常场景中人工添加的雾霾效果，以模拟恶劣天气条件。数据集的创建过程结合了深度估计和大气散射模型，确保了数据的真实性和多样性。HazyDet主要应用于无人机在恶劣天气条件下的物体检测，旨在提高无人机在复杂环境中的感知能力。

arXiv 收录

Solar Radiation Data

该数据集包含全球多个地点的太阳辐射数据，涵盖了不同时间段和气象条件下的辐射强度。数据包括直接辐射、散射辐射和总辐射等指标，适用于太阳能资源评估和气候研究。

www.nrel.gov 收录

Traditional-Chinese-Medicine-Dataset-SFT

该数据集是一个高质量的中医数据集，主要由非网络来源的内部数据构成，包含约1GB的中医各个领域临床案例、名家典籍、医学百科、名词解释等优质内容。数据集99%为简体中文内容，质量优异，信息密度可观。数据集适用于预训练或继续预训练用途，未来将继续发布针对SFT/IFT的多轮对话和问答数据集。数据集可以独立使用，但建议先使用配套的预训练数据集对模型进行继续预训练后，再使用该数据集进行进一步的指令微调。数据集还包含一定比例的中文常识、中文多轮对话数据以及古文/文言文<->现代文翻译数据，以避免灾难性遗忘并加强模型表现。

huggingface 收录

典型分布式光伏出力预测数据集

光伏电站出力数据每5分钟从电站机房监控系统获取；气象实测数据从气象站获取，气象站建于电站30号箱变附近，每5分钟将采集的数据通过光纤传输到机房；数值天气预报数据利用中国电科院新能源气象应用机房的WRF业务系统（包括30TF计算刀片机、250TB并行存储）进行中尺度模式计算后输出预报产品，每日8点前通过反向隔离装置推送到电站内网预测系统。

国家基础学科公共科学数据中心收录