TOFU

该数据集是一组用于测试大型语言模型遗忘能力的合成作者传记问答数据集。它能够评估大型语言模型在遗忘和保留知识方面的表现，使用的评估指标包括遗忘质量和模型效用等。该数据集涉及的任务包括实体遗忘、有害知识遗忘以及版权内容遗忘。

This dataset is a collection of synthetic author biography question-answering datasets developed to test the forgetting capabilities of large language models (LLMs). It enables the evaluation of LLMs' performance in terms of knowledge forgetting and retention, with evaluation metrics including forgetting quality, model utility, and others. The tasks covered by this dataset include entity forgetting, harmful knowledge forgetting, and copyrighted content forgetting.

搜集汇总

背景与挑战

背景概述

TOFU是一个用于评估大语言模型遗忘能力的基准数据集，包含200个虚构作者资料，每个作者有20个问答对，旨在模拟遗忘特定训练数据的过程。数据集通过综合指标（如模型效用和遗忘质量）评估遗忘方法的有效性，并揭示现有方法的局限性，以推动更有效的遗忘技术发展。