VaseVQA

VaseVQA是一个全面的基准数据集，包含31,773张图片和93,544个视觉问答对，旨在探测古代希腊陶器的深层次理解。该数据集由澳大利亚人工智能研究所和拉筹伯大学的研究人员创建，与古希腊考古机构、博物馆和文化遗产中心合作收集图片，并从学术论文、考古报告和专家注释中收集文本数据。数据集由考古学家和文化遗产专家标注，包含多个关键属性，如材料、图案类型、挖掘层、放射性碳测年估计、制造技术和物体使用背景。VaseVQA旨在为视觉语言模型社区提供可重复使用的研究资源，促进对文化遗产的理解。VaseVQA is a comprehensive benchmark dataset comprising 31,773 images and 93,544 visual question-answer pairs, designed to probe deep understanding of ancient Greek pottery. This dataset was created by researchers from the Australian Artificial Intelligence Institute and La Trobe University. Images were collected in collaboration with ancient Greek archaeological institutions, museums and cultural heritage centers, while text data was sourced from academic papers, archaeological reports and expert annotations. The dataset is annotated by archaeologists and cultural heritage experts, and includes multiple key attributes such as material, pattern type, excavation layer, radiocarbon dating estimates, manufacturing techniques and object usage contexts. VaseVQA aims to provide reusable research resources for the vision-language model community and promote understanding of cultural heritage.

原始信息汇总

VaseVQA 数据集概述

基本信息

• 数据集名称: VaseVQA: Multimodal Agent and Benchmark for Ancient Greek Pottery
• 相关论文: VaseVQA: Multimodal Agent and Benchmark for Ancient Greek Pottery
• 论文链接: https://arxiv.org/abs/2509.17191
• 数据集地址: https://huggingface.co/datasets/AIGeeksGroup/VaseVQA
• 模型地址: https://huggingface.co/AIGeeksGroup/VaseVL
• HuggingFace论文页: https://huggingface.co/papers/2509.17191

研究背景

分析文化遗产文物对多模态大语言模型仍具挑战性：通用模型缺乏领域专业知识，而监督微调通常过度拟合表面模式，导致认证和历史归因的推理脆弱。本研究探讨如何为古希腊陶器装备具有鲁棒性、专家级推理能力的多模态大语言模型。

技术方案

提出VaseVL系统，采用监督微调后强化学习的框架，将评估转化为监督：

• 构建问题类型分类法
• 探测监督微调模型以定位特定类型的性能差距
• 使用针对这些差距的类型条件、组合性导向的奖励进行优化

数据集特性

• 基准名称: VaseVQA
• 数据规模: 31,773张图像
• 设计目的: 用于探究深度理解的综合性基准
• 应用领域: 风格分类和历史归因

实验结果

在风格分类和历史归因任务上展示了最先进的结果，与仅使用监督微调的基线相比，在组合鲁棒性方面取得了显著提升。

许可证信息

• 许可证类型: NCND许可证
• 使用限制: 禁止商业使用，禁止修改数据用于其他数据集

引用格式

bibtex @article{ge2025vasevqa, title={VaseVQA: Multimodal Agent and Benchmark for Ancient Greek Pottery}, author={Ge, Jinchao and Cheng, Tengfei and Wu, Biao and Zhang, Zeyu and Huang, Shiya and Bishop, Judith and Shepherd, Gillian and Fang, Meng and Chen, Ling and Zhao, Yang}, journal={arXiv preprint arXiv:2509.17191}, year={2025} }

搜集汇总

数据集介绍

构建方式

在文化遗产数字化分析领域，VaseVQA数据集的构建依托于考古机构与博物馆的合作，系统采集了31,773张古希腊陶器图像，涵盖完整器物与碎片样本。文本数据源自学术文献与专家标注，通过考古学者对材质、纹饰、年代等七类属性进行结构化标注，最终形成93,544组视觉问答对，确保数据在视觉细节与文化语境上的双重准确性。

特点

该数据集以七类问题类型为核心框架，涵盖陶器材质、工艺、器形等专业维度，其独特之处在于融合了事实性问答与描述性推理任务。每张图像对应八组多轮对话，既包含精确的年代归属等封闭式问题，也涉及纹饰构图等开放式描述，有效支撑模型从表层特征识别到深层文化推理的能力评估。

使用方法

针对不同问题类型设计差异化评估指标，事实类问题采用基于编辑距离的ANLS准确率，描述类问题则使用BLEU@1衡量语义连贯性。研究者可基于该基准开展监督微调与强化学习的组合实验，通过类型化奖励函数优化模型在特定领域的推理鲁棒性，其标准化数据格式与评估脚本为跨模型性能对比提供便利。

背景与挑战

背景概述

VaseVQA数据集于2025年由澳大利亚人工智能研究所与拉筹伯大学联合发布，聚焦于古希腊陶器文化遗产的智能分析。该数据集旨在解决多模态大语言模型在文化遗产领域专业知识匮乏的问题，通过构建包含31,773张图像和93,544个视觉问答对的基准测试平台，系统覆盖陶器材质、工艺技法、器型分类、年代判定等七类专业问题。其创新性在于将考古学家的专业标注与多模态学习技术深度融合，为文化遗产数字化保护提供了重要的数据基础。

当前挑战

该数据集面临的领域挑战主要体现在对古希腊陶器复杂视觉特征的细粒度解析，要求模型能准确识别黑绘、红绘等工艺差异，并关联历史背景进行年代归属判断。构建过程中需克服专业标注的高门槛，考古学术语的多义性处理，以及碎片化陶器图像的完整性还原等难题。此外，数据采集涉及多国博物馆的版权协调与跨学科知识融合，需平衡学术严谨性与数据可及性。

常用场景

经典使用场景

在文化遗产数字化分析领域，VaseVQA数据集作为首个专注于古希腊陶器的多模态视觉问答基准，其经典应用场景体现在对陶器图像进行细粒度属性识别与专业级推理。该数据集通过七类问题类型（材质、工艺、器型、出处、年代、归属、纹饰）系统评估模型对陶器视觉特征与文化背景的融合理解能力。研究人员利用其包含的31,773张图像和93,544组问答对，可构建具备考古学专业知识的视觉语言模型，实现对黑绘、红绘等工艺技术的精准辨识，以及对陶器年代、作坊归属等历史属性的推理验证。

衍生相关工作

基于VaseVQA数据集衍生的经典工作包括VaseVL系统提出的诊断引导式强化学习框架。该工作创新性地将评估转化为监督信号，通过类型化奖励工程针对性地提升模型在归属判定和纹饰描述等薄弱环节的推理能力。后续研究在此基础上发展了多尺度注意力机制用于陶器纹饰解析，以及跨模态知识图谱构建技术用于陶器历史语境重建。这些工作共同推动了文化遗产分析从单一属性识别向多维度语义理解的演进，形成了以数据驱动为核心的专业领域模型优化范式。

数据集最近研究

最新研究方向

在文化遗产计算分析领域，VaseVQA数据集正推动多模态大语言模型向专业化知识推理方向深化。当前研究聚焦于解决通用模型在古希腊陶器鉴定中的领域知识缺失问题，通过构建诊断导向的强化学习框架VaseVL，将评估指标转化为监督信号，显著提升了模型在器型分类、年代判定等任务中的组合推理鲁棒性。该数据集与当前数字人文领域的热点形成共振，为文物自动标注、跨模态检索等应用提供了基准支持，其类型化奖励机制的设计思路对特定领域MLLM的微调范式具有启发意义。

相关研究论文

• VaseVQA: Multimodal Agent and Benchmark for Ancient Greek Pottery

  La Trobe University · 2025年