five

naist-nlp/ExpArt

收藏
Hugging Face2024-02-29 更新2024-03-04 收录
下载链接:
https://hf-mirror.com/datasets/naist-nlp/ExpArt
下载链接
链接失效反馈
官方服务:
资源简介:
Explain Artworks: ExpArt旨在增强大规模视觉语言模型(LVLMs)在分析和描述艺术作品方面的能力。该数据集从英文维基百科艺术文章中提取,包含约10,000篇文章,鼓励LVLMs基于图像(有或无标题)创建深入描述。该数据集的目标是提高LVLMs在辨别和表达艺术的历史和主题细微差别方面的能力,不仅旨在提升AI对艺术的理解和批评,还寻求在人工智能与艺术史之间建立更强的联系。数据集还引入了专门的指标来评估LVLMs在艺术解释中的有效性,重点关注其对视觉和文本线索的解释。
提供机构:
naist-nlp
原始信息汇总

数据集卡片 for "Explain Artworks: ExpArt"

数据集描述

数据集摘要

Explain Artworks: ExpArt 旨在提升大规模视觉语言模型(LVLMs)在分析和描述艺术品方面的能力。该数据集从英语维基百科的艺术文章中提取,鼓励 LVLMs 根据带有或不带有标题的图像创建深入的描述。这一努力旨在提高 LVLMs 在辨别和阐述艺术的历史和主题细微差别方面的熟练度。Explain Artworks: ExpArt 不仅旨在提升 AI 对艺术的了解和批评,还寻求在人工智能和艺术史之间建立更紧密的联系。该数据集包含约 10,000 篇文章,并引入了专门的指标来评估 LVLMs 在艺术解释方面的有效性,重点是它们对视觉和文本线索的解释。

支持的任务和排行榜

[更多信息需要]

语言

该数据集提供英语版本。

数据集结构

以下示例展示了两种不同的训练数据集格式。第一种包含“title”字段,而第二种则不包含。

数据实例示例(带标题)

JSON { "id": "0001_T", "title": "Mona Lisa", "conversations": [ { "from": "user", "value": "<img>/images/Mona Lisa.jpg</img> Focus on Mona Lisa and explore the history." }, { "from": "assistant", "value": "Of Leonardo da Vinci’s works, the Mona Lisa is the only portrait whose authenticity...." } ] }

数据实例示例(不带标题)

JSON { "id": "0001_NT", "conversations": [ { "from": "user", "value": "<img>/images/Mona Lisa.jpg</img> Focus on this artwork and explore the history." }, { "from": "assistant", "value": "Of Leonardo da Vinci’s works, the Mona Lisa is the only portrait whose authenticity...." } ] }

数据实例

Python from datasets import load_dataset

dataset = load_dataset("naist-nlp/ExpArt")

print(dataset)

DatasetDict({

train: Dataset({

features: [id, title, conversations],

num_rows: X # Replace X with the actual number of rows in your dataset

})

})

Example of accessing a single data instance

example = dataset[train][0] print(example)

{

"id": "0001_T",

"title": "Mona Lisa",

"conversations": [

{

"from": "user",

"value": "<img src=/images/Mona Lisa.jpg></img>

Focus on Mona Lisa and explore the history."

},

{

"from": "assistant",

"value": "Of Leonardo da Vinci’s works, the Mona Lisa is the only portrait whose authenticity...."

}

]

}

搜集汇总
数据集介绍
main_image_url
构建方式
ExpArt数据集由奈良先端科学技术大学院大学自然语言处理实验室构建,其数据源广泛采集自英文维基百科中与艺术相关的文章。构建过程精心筛选了约一万篇涵盖不同时期与流派的作品介绍,并针对每件艺术品设计了两种对话格式:一种包含作品标题,另一种则隐去标题。通过将图像与历史背景文本对齐,该数据集旨在训练大型视觉语言模型(LVLMs)基于视觉线索或标题生成深入的艺术解析,从而形成结构化的多模态对话样本。
特点
该数据集的核心特色在于其双轨对话结构,即每条数据均以用户与助手的问答形式呈现,并明确区分了“有标题”与“无标题”两种输入情境。这种设计迫使模型在缺乏显式命名信息时,仅凭图像内容推断作品的历史与主题内涵,从而更全面地评估其跨模态推理能力。此外,数据集引入了专门针对艺术解释效果的评估指标,着重衡量LVLMs对视觉与文本线索的综合解读水平,使其在同类资源中独树一帜。
使用方法
用户可通过HuggingFace的datasets库便捷加载该数据集,调用`load_dataset("naist-nlp/ExpArt")`即可获取包含训练集的DatasetDict对象。每条实例由唯一标识符、可选的标题字段及多轮对话列表组成,其中用户输入嵌入图像路径与引导性指令,助手回答则提供详尽的历史分析。研究者可直接利用此格式微调视觉语言模型,或依据任务需求选择是否保留标题字段,以测试模型在不同信息条件下的艺术描述表现。
背景与挑战
背景概述
在人工智能与艺术史交叉的前沿领域,大型视觉语言模型(LVLMs)对艺术作品的深度理解与诠释能力仍显薄弱。为弥合这一鸿沟,日本奈良先端科学技术大学院大学(NAIST)的自然语言处理实验室于2023年夏季推出了ExpArt(Explain Artworks)数据集。该数据集基于英文维基百科中约一万篇艺术相关文章构建,旨在通过提供包含或不含标题的艺术图像及其对应历史背景描述,系统性地提升LVLMs对艺术作品中历史脉络与主题意涵的解析能力。ExpArt的出现不仅为AI的艺术鉴赏与批评研究开辟了新路径,更在人工智能与艺术史之间架起了一座坚实的桥梁,对推动多模态模型在文化遗产领域的应用具有里程碑意义。
当前挑战
ExpArt数据集所面临的挑战主要源自两大层面。在领域问题层面,LVLMs在处理艺术作品时,往往难以精准捕捉图像中的视觉细节与象征元素,并将其与复杂的历史文化背景进行有效关联,导致生成的描述流于表面或偏离原意,这构成了对模型高层次语义理解与跨模态推理能力的严峻考验。在数据集构建过程中,挑战则体现为如何从海量的维基百科文本中提取并结构化高质量的艺术品描述,确保其内容的准确性与权威性,同时设计出能够引导模型进行深度探索的对话模板,例如在无标题情况下如何仅凭图像激发模型的历史探究行为,这对数据采集与标注策略提出了精细化的要求。
常用场景
经典使用场景
ExpArt数据集的核心经典使用场景在于赋能大规模视觉-语言模型(LVLMs)对艺术品的深度解析与描述。该数据集从英文维基百科中精心筛选了约一万篇艺术相关文章,构建了包含图像与文本对话的多模态训练样本。其独特之处在于支持两种模式:在提供画作标题时,模型需结合标题进行历史与主题的阐释;无标题时,则完全依赖视觉信息进行自主探索。这一设计旨在培养LVLMs捕捉艺术作品中细微的视觉线索与丰富的文化内涵的能力,从而生成兼具准确性与深度的艺术评论。
实际应用
在实际应用层面,ExpArt数据集驱动的模型可部署于数字博物馆与在线艺术画廊,为观众提供个性化的导览解说,将晦涩的艺术史知识转化为生动的交互体验。例如,当用户上传一幅画作照片时,系统能自动生成关于其创作背景、象征意义及历史影响的深度解析。此外,该技术还可用于艺术教育辅助工具,帮助学生通过视觉提问与AI对话,直观理解不同时期的艺术风格演变,降低艺术鉴赏的门槛,促进艺术文化的普及与传承。
衍生相关工作
基于ExpArt数据集,学术界已衍生出一系列具有影响力的工作。研究者们利用其多模态对话结构,探索了提示工程与视觉特征对齐的新方法,以提升LVLMs在零样本或少样本条件下的艺术描述能力。另一些工作则聚焦于构建跨文化艺术知识图谱,通过将ExpArt中的描述与外部历史数据库链接,实现了对艺术流派演变的自动推理。此外,该数据集还被用作对抗性测试平台,用以评估现有模型在识别艺术风格细微差异时的鲁棒性,催生了针对艺术领域特定偏差的纠偏算法研究。
以上内容由遇见数据集搜集并总结生成
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作