HymanH/VLKEB-data

VLKEB是一个大规模视觉-语言模型知识编辑的基准测试数据集。现有的LVLM编辑基准在合成评估图像的质量上存在不足，并且无法评估模型是否在相关内容中应用了编辑后的知识。因此，VLKEB采用了更可靠的数据收集方法，并扩展了Portability指标以进行更全面的评估。数据集利用多模态知识图谱，将图像数据与知识实体绑定，并进一步用于提取与实体相关的知识，这些知识构成了编辑数据的基础。实验在五个LVLM上进行了不同编辑方法的测试，并深入分析了这些方法对模型的影响。

原始信息汇总

VLKEB: 大型视觉-语言模型知识编辑基准

数据集概述

• 名称: VLKEB
• 类型: 大型视觉-语言模型知识编辑基准
• 语言: 英语
• 许可证: BSD-3-Clause

数据集描述

• 目标: 解决大型视觉-语言模型（LVLMs）知识编辑的挑战，特别是多模态数据和复杂模型组件带来的额外困难。
• 现有问题: 现有的LVLM编辑基准在合成评估图像的质量上不足，且无法评估模型是否在相关内容中应用了编辑后的知识。
• 创新点:
  • 采用更可靠的数据收集方法构建新的基准。
  • 扩展了可移植性（Portability）指标，以进行更全面的评估。
  • 利用多模态知识图谱，将图像数据与知识实体绑定，用于提取与实体相关的知识，构成编辑数据的基础。

实验与分析

• 实验对象: 在五个LVLMs上进行了不同编辑方法的实验。
• 结果: 详细分析了这些方法对模型的影响，揭示了它们的优缺点，并为未来的研究提供了见解。

相关链接

• arXiv论文: https://arxiv.org/abs/2403.07350
• GitHub仓库: https://github.com/VLKEB/VLKEB