LZ12DH/unlearning

TOFU数据集是一个用于评估大型语言模型在现实任务中遗忘性能的基准数据集。该数据集包含基于200位虚构作者自传的问答对，这些自传由GPT-4模型生成。数据集适用于各种大型语言模型，特别是Llama2、Mistral和Qwen等聊天模型。数据集提供了不同的遗忘集和保留集，可用于训练Oracle模型。

原始信息汇总

数据集概述

名称: TOFU

描述: TOFU数据集是一个用于评估大型语言模型在实际任务中遗忘性能的基准。该数据集包含基于200位虚构作者的自传的问题-答案对，这些内容完全由GPT-4模型虚构生成。任务目标是让模型在不同比例的遗忘集合上进行微调后的遗忘。

语言: 英语

许可证: MIT

多语言性: 单语

大小: 1K<n<10K

来源: 原始数据

标签:

• 遗忘
• 问答
• TOFU
• 自然语言处理
• 大型语言模型

任务类别: 问答

任务ID: 封闭领域问答

配置详情

• config_name: full

  • data_files: full.json
  • default: true

• config_name: forget01

  • data_files: forget01.json

• config_name: forget10

  • data_files: forget10.json

• config_name: retain90

  • data_files: retain90.json

• config_name: retain99

  • data_files: retain99.json