MC-MKE

MC-MKE是由北京大学王选计算机技术研究所创建的一个细粒度多模态知识编辑基准，强调模态一致性。该数据集旨在解决多模态大语言模型中的知识不准确或过时问题，通过分解多模态知识为视觉和文本组件，独立纠正读取和识别错误。MC-MKE包含三个子集，对应于多模态知识的三种不同编辑格式，更贴近实际应用场景，能系统全面地评估多模态知识编辑方法的性能。数据集的创建过程涉及从原始数据中筛选和构建，确保所有编辑的知识原本已知于模型，以实现真正的‘编辑’而非‘学习’。MC-MKE的应用领域主要集中在提升多模态模型的知识准确性和时效性，解决模型在图像识别和文本理解中的错误。MC-MKE is a fine-grained multimodal knowledge editing benchmark created by the Wangxuan Institute of Computer Technology at Peking University, which emphasizes modal consistency. This benchmark aims to address the issue of inaccurate or outdated knowledge in multimodal large language models (LLMs), by decomposing multimodal knowledge into visual and textual components to independently correct reading and recognition errors. MC-MKE includes three subsets corresponding to three distinct editing formats of multimodal knowledge, which are more aligned with real-world application scenarios and can systematically and comprehensively evaluate the performance of multimodal knowledge editing methods. The dataset creation process involves screening and constructing from raw data, ensuring that all edited knowledge was originally known to the target model to achieve genuine "editing" rather than mere "learning". The application scenarios of MC-MKE mainly focus on improving the knowledge accuracy and timeliness of multimodal models, and correcting errors in image recognition and text understanding of such models.

搜集汇总

数据集介绍

构建方式

MC-MKE数据集的构建基于多模态知识编辑的需求，旨在解决多模态大语言模型（MLLMs）中的知识错误问题。数据集通过将多模态知识分解为视觉和文本组件，分别对应误识别和误读两种错误类型。构建过程中，首先从MQuAKE文本知识编辑数据集中筛选出高质量的数据，并通过生成问题和图像对进行进一步过滤，确保模型能够正确识别和回答。随后，使用ChatGPT生成细粒度实体类别，并结合图像查询模板构建多模态知识编辑数据集。最终，数据集包含三种编辑格式（IE_edit、SRO_edit、IRO_edit），分别针对视觉知识、文本知识和多模态知识的编辑需求。

特点

MC-MKE数据集的特点在于其细粒度的多模态知识编辑能力，强调模态一致性。数据集包含2884条知识实例，涵盖28种关系和1424个实体，具有较高的多样性和复杂性。每个样本平均包含18.11个答案别名，减少了精确匹配指标的误判。此外，数据集通过分解多模态知识，能够独立纠正误识别和误读错误，并评估编辑方法在可靠性、局部性、通用性和一致性等方面的表现。数据集的设计使其更贴近现实场景中的多模态知识编辑需求，能够系统全面地评估编辑方法的性能。

使用方法

MC-MKE数据集的使用方法主要围绕多模态知识编辑的评估展开。用户可以通过三种编辑格式（IE_edit、SRO_edit、IRO_edit）对多模态大语言模型进行知识编辑测试。在IE_edit中，用户通过输入图像和生成的问题，编辑模型对图像中实体的识别结果；在SRO_edit中，用户通过生成的问题编辑文本知识三元组；在IRO_edit中，用户通过多模态知识输入编辑最终的多模态知识输出。数据集提供了可靠性、局部性、通用性和一致性等评估指标，用户可以通过这些指标全面评估编辑方法的性能。此外，数据集还支持通过图像和文本的泛化测试，进一步验证编辑方法的通用性和一致性。

背景与挑战

背景概述

MC-MKE（Multimodal Knowledge Editing Benchmark）是由北京大学王选计算机研究所的Junzhe Zhang等人于2024年提出的一个细粒度的多模态知识编辑基准。该数据集旨在解决多模态大语言模型（MLLMs）中存在的知识不准确或过时的问题，特别是针对模型在图像识别和文本理解中的误识别（misrecognition）和误读（misreading）错误。MC-MKE首次将多模态知识分解为视觉知识和文本知识，并提出了三种不同的编辑格式（IE_edit、SRO_edit和IRO_edit），以独立纠正不同类型的错误。该数据集的提出为多模态知识编辑领域提供了更系统、更全面的评估工具，推动了该领域的研究进展。

当前挑战

MC-MKE数据集面临的主要挑战包括两个方面。首先，多模态知识编辑的复杂性使得现有的编辑方法难以在保持模态一致性的同时有效纠正错误。现有的方法如微调（Fine-tuning）、MEND和IKE在MC-MKE上的表现均未达到理想水平，尤其是在模态一致性方面表现较差。其次，数据集的构建过程中也面临诸多挑战，例如如何确保编辑后的知识在不同模态之间的一致性，以及如何从多模态数据中准确分解视觉和文本知识。此外，数据集的构建还需要处理大量的实体和关系，确保数据的高质量和多样性，这对数据筛选和标注提出了较高的要求。

常用场景

经典使用场景

MC-MKE数据集主要用于评估多模态大语言模型（MLLMs）在知识编辑任务中的表现，特别是在纠正视觉和文本知识错误方面的能力。通过将多模态知识分解为视觉和文本组件，MC-MKE能够独立评估模型在纠正误读和误识别错误时的表现。该数据集的设计使得研究者能够系统地分析不同编辑方法在保持模态一致性方面的效果，从而推动多模态知识编辑技术的发展。

衍生相关工作

MC-MKE数据集的推出催生了一系列相关研究工作，特别是在多模态知识编辑领域。基于MC-MKE，研究者开发了多种新的编辑方法，如MEND和IKE，这些方法在保持模态一致性方面取得了显著进展。此外，MC-MKE还为其他多模态知识编辑基准的构建提供了参考，如MMEdit和KEBench，进一步推动了多模态知识编辑技术的发展和应用。

数据集最近研究

最新研究方向

随着多模态大语言模型（MLLMs）的广泛应用，其知识更新与编辑问题逐渐成为研究热点。MC-MKE数据集通过将多模态知识分解为视觉和文本组件，首次系统性地定义了多模态知识编辑的细粒度评估框架，强调模态一致性。该数据集不仅能够独立纠正误读和误识别错误，还为多模态知识编辑方法提供了可靠性、局部性、通用性和一致性等多维度的评估标准。实验表明，现有的多模态知识编辑方法在模态一致性方面仍存在显著不足，尤其是在不同编辑格式下的表现差异较大。MC-MKE的提出为多模态知识编辑领域提供了新的研究方向，推动了针对复杂多模态场景下知识更新技术的进一步探索。

相关研究论文

• MC-MKE: A Fine-Grained Multimodal Knowledge Editing Benchmark Emphasizing Modality Consistency

  北京大学王选计算机技术研究所 · 2024年