xinchiqiu/PISTOL

该数据集提供了一个用于大语言模型（LLMs）结构性遗忘任务的数据集。结构性遗忘旨在从预训练或微调模型中删除特定数据，特别是那些逻辑上相互关联并形成隐含知识图谱的数据。为了促进结构性遗忘方法的发展，该数据集提出了PISTOL管道，用于编译多场景数据集以进行基准测试。通过使用PISTOL生成的样本数据集，研究人员可以在Llama2-7B和Mistral-7B模型上进行四种不同的遗忘方法的基准测试，从而揭示当前LLM遗忘方法在删除高度互连数据、批量数据或特定领域数据时的挑战。此外，该数据集还提供了一个易于使用且多功能的数据集生成管道，使研究人员能够轻松设计和合成自己的数据集，以研究数据结构或拓扑在遗忘过程中的作用。

原始信息汇总

数据集概述

数据集名称

Dataset Name

数据集描述

该数据集为LLMs提供了一个结构化遗忘任务。

数据集详情

数据集配置

• 配置名称1: pistol_data_1
  • 数据文件: sample_data_1.json
• 配置名称2: pistol_data_2
  • 数据文件: sample_data_2.json

数据集属性

• 语言: 英语
• 许可证: ODC