MU-Bench

MU-Bench是由麻省大学洛厄尔分校开发的全面机器遗忘基准数据集，包含9个公开数据集，覆盖多种任务和数据模态，如图像、文本、音频和视频。数据集旨在评估机器遗忘算法在删除特定训练样本时的效果，特别关注敏感信息和过时知识的移除。创建过程中，数据集统一了删除样本和训练模型的选择，以确保公平比较。MU-Bench的应用领域广泛，包括但不限于隐私保护、数据更新和模型安全性提升。MU-Bench is a comprehensive machine unlearning benchmark dataset developed by the University of Massachusetts Lowell. It includes nine publicly available datasets covering diverse tasks and data modalities such as images, text, audio and video. The dataset aims to evaluate the performance of machine unlearning algorithms when removing specific training samples, with particular focus on the removal of sensitive information and outdated knowledge. During its development, the dataset standardized the selection of deleted samples and trained models to ensure fair comparisons. MU-Bench has wide application fields, including but not limited to privacy protection, data updating and model security enhancement.

搜集汇总

数据集介绍

构建方式

MU-Bench的构建旨在解决机器遗忘(MU)方法评估中的不一致性和局限性。该数据集统一了删除样本集和训练模型的集合，并提供广泛覆盖的任务和数据模态，包括之前未被探索的领域，如语音和视频分类。MU-Bench涵盖了多种任务，包括图像分类、情感分类、关系抽取、视觉推理、语音关键词识别、动作分类、文本摘要、文本生成、图像到图像生成等，数据模态涵盖了图像、文本、音频、视频和生物医学数据。此外，MU-Bench还包括一个易于使用的软件包，其中包含了数据集分割、模型和实现，以及一个排行榜，以促进统一和可扩展的MU研究。

特点

MU-Bench的主要特点包括：(1) 统一性和多样性：该数据集统一了删除样本集和训练模型，并提供了广泛覆盖的任务和数据模态，包括之前未被探索的领域，如语音和视频分类。(2) 重训练无关评估：MU-Bench提出了一个无需重训练的评估方法，即使用统一的删除样本集和训练模型，并通过一系列评估指标来衡量遗忘效果。(3) 易于使用：MU-Bench提供了一个易于使用的软件包，其中包含了数据集分割、模型和实现，并与其他常用软件包如PyTorch、Huggingface Transformers和Diffusers集成。

使用方法

MU-Bench的使用方法如下：(1) 数据准备：从MU-Bench软件包中加载所需的数据集、模型和实现。(2) 删除样本选择：根据需求选择删除样本集的大小，MU-Bench支持1-10%的数据删除比例。(3) 训练模型：使用MU-Bench中的模型和实现进行训练，可以选择不同的架构和规模。(4) 评估遗忘效果：使用MU-Bench中的评估脚本和指标来评估遗忘效果，包括测试集上的性能、删除集上的性能、剩余集上的性能、遗忘时间和成员推理攻击的成功率等。(5) 结果分析：根据评估结果分析不同MU方法的遗忘效果，并与其他方法进行比较。MU-Bench还提供了一个排行榜，以展示不同方法和架构的排名。

背景与挑战

背景概述

MU-Bench数据集的创建旨在应对机器学习中日益重要的机器遗忘(MU)技术的评估问题。MU技术旨在从训练模型中删除特定样本及其影响，以保护敏感信息或删除过时数据。然而，现有的MU方法评估往往不一致，使用了不同的训练模型、架构和样本删除策略，这阻碍了准确比较。MU-Bench的创建旨在解决这些问题，它统一了被删除样本和训练模型，并提供了对任务和数据模式的广泛覆盖，包括以前未探索的领域，如语音和视频分类。MU-Bench由Jiali Cheng和Hadi Amiri等人于2024年开发，它提供了一个易于使用的软件包，其中包括数据集划分、模型和实现，以及一个排行榜，以促进统一和可扩展的MU研究。MU-Bench的创建对相关领域产生了重大影响，它不仅提供了一个公正的评估平台，还揭示了MU技术的潜在挑战和限制。

当前挑战

MU-Bench数据集的相关挑战包括：1) MU系统的评估设置不一致，使用不同的训练模型和指标，这可能导致不公平的比较并阻碍鲁棒性MU方法的发展；2) 评估往往集中在特定的任务、模态和架构上，这限制了我们对这些模型在不同设置下的有效性的理解。MU-Bench通过统一删除样本、训练模型和架构，以及提供广泛覆盖的任务和数据模态，旨在解决这些挑战。然而，MU-Bench仍然面临一些限制，例如未对所有MU算法进行评估，实验范围有限，以及未包含所有任务。未来工作包括扩展MU-Bench以包含更多数据集和任务，以及开发更有效和可解释的MU方法。

常用场景

经典使用场景

MU-Bench 数据集旨在为机器遗忘（MU）研究提供一个全面的基准，以评估不同方法和架构在多种任务和数据模态下的性能。该数据集涵盖了图像分类、情感分析、生物医学关系抽取、语音关键词识别、视频动作识别、文本摘要、文本生成、图像-文本生成等多种任务，以及图像、文本、语音、视频等数据模态。MU-Bench 还包括了多种基础模型和标准化评估指标，以及易于使用的 Python 包和排行榜，以促进公平和可扩展的 MU 研究。

衍生相关工作

MU-Bench 数据集的发布促进了机器遗忘领域的相关研究。例如，一些研究使用 MU-Bench 评估了不同遗忘方法在不同任务和数据模态下的性能，并发现了遗忘容量、参数高效微调、课程学习和数据集偏差等被忽视的方面。此外，MU-Bench 还可以帮助研究者开发新的遗忘方法，并评估其在不同场景下的性能。MU-Bench 的发布为机器遗忘领域的研究和应用提供了重要的资源和支持。

数据集最近研究

最新研究方向

MU-Bench 数据集的提出旨在解决机器遗忘（MU）领域中存在的评估不一致和任务单一的问题。MU-Bench 通过统一删除样本集和训练模型，以及提供广泛的任务和数据模态覆盖，为 MU 研究提供了标准化的评估环境。该数据集的最新研究方向主要集中在以下方面：首先，MU-Bench 旨在通过提供标准化的数据分割、模型和实现，以及排行榜，促进 MU 研究的统一和可扩展性。其次，MU-Bench 评估了 RANDLABEL、BAD-T 和 SALUN 等 MU 方法在不同任务和数据模态上的有效性，并分析了参数高效微调（PEFT）和课程学习对 MU 的影响。此外，MU-Bench 还探讨了遗忘能力、数据集偏差等 MU 领域中未被充分研究的问题。MU-Bench 的提出对于促进 MU 研究的进步和实际应用具有重要意义。

相关研究论文

• MU-Bench: A Multitask Multimodal Benchmark for Machine Unlearning

  麻省大学洛厄尔分校 · 2024年