MQUAKE

该数据集旨在测试经编辑模型的多跳问答能力，其中包含了2跳、3跳以及4跳问题。此外，该数据集还允许评估模型回答那些依赖于多个相关信息的复杂问题的能力。其所涉及的任务是多项跳问答。

This dataset is designed to test the multi-hop question answering capabilities of edited models, which includes 2-hop, 3-hop, and 4-hop questions. Additionally, this dataset allows for evaluating a model's ability to answer complex questions that depend on multiple relevant pieces of information. The core task involved in this dataset is multi-hop question answering.

搜集汇总

背景与挑战

背景概述

MQUAKE是一个用于评估语言模型中知识编辑效果的数据集，包含多跳问题和反事实编辑数据集MQuAKE-CF及时间知识更新数据集MQuAKE-T。数据集旨在测试模型在编辑事实后是否能正确回答相关问题，适用于研究知识编辑方法的效果。