zhliu/RETURN

RETURN数据集是一个专注于真实世界个人数据遗忘的数据集，主要用于问答任务，涉及安全和隐私问题。数据规模在1K到10K之间，语言为英语。该数据集旨在帮助减轻大型语言模型中的隐私风险。The RETURN dataset is focused on real-world personal data unlearning, primarily used for question-answering tasks involving safety and privacy concerns. The dataset size ranges between 1K and 10K, and the language is English. This dataset aims to help mitigate privacy risks in large language models.

搜集汇总

数据集介绍

构建方式

在大型语言模型隐私保护的研究背景下，RETURN数据集应运而生，旨在为模型遗忘（unlearning）任务提供真实世界个人数据的基准。该数据集通过系统性地收集并整理互联网上可公开获取的个人信息，构建了涵盖多种隐私敏感场景的问答对。具体而言，研究者从多个来源提取包含姓名、地址、电话号码等标识符的文本片段，并人工标注了对应的安全与隐私相关查询，最终形成包含数千条样本的测试集，以评估模型在隐私数据遗忘后的表现。

特点

RETURN数据集的核心价值在于其真实性与针对性。所有样本均来源于现实世界的个人数据泄露场景，而非人工合成的虚假信息，这确保了评估结果能够反映模型在实际应用中的隐私风险。数据集规模控制在1K至10K之间，既保证了统计有效性，又便于研究者快速迭代实验。此外，其标注重点聚焦于‘隐私’与‘安全’两类标签，使得该数据集特别适用于衡量语言模型在指令微调或模型编辑后，对敏感个人信息遗忘程度的量化分析。

使用方法

该数据集主要用于评估和验证大语言模型隐私遗忘算法的有效性。研究者可将RETURN作为测试基准，在模型经过‘学习拒绝’（learning to refuse）或‘模型编辑’等微调操作后，评估其对于包含个人信息的查询是否还能生成准确答案。使用时，通常将数据集中的问题作为输入，计算模型输出与预期‘拒绝回答’或‘遗忘’行为的一致性。数据集以标准问答格式提供，可直接加载至Hugging Face的datasets库中，便于集成到现有的评估流水线中。

背景与挑战

背景概述

随着大语言模型在自然语言处理领域的广泛应用，其训练数据中可能包含的个人隐私信息引发了日益严峻的安全挑战。为了评估和提升模型对敏感数据的遗忘能力，Zhenhua Liu、Tong Zhu、Chuanyuan Tan与Wenliang Chen于2024年共同构建了RETURN数据集，该工作发表于arXiv，并受到计算机语言学界的广泛关注。该数据集聚焦于“学习拒绝”这一核心研究问题，旨在探索如何在不牺牲模型性能的前提下，有效降低隐私泄露风险。RETURN通过收集真实世界中的个人数据样本，为测试和验证大语言模型的“遗忘”机制提供了标准化的基准，对推动隐私保护型人工智能的发展具有里程碑式的意义。

当前挑战

RETURN数据集所面临的挑战主要体现在两个层面。在领域问题层面，大语言模型在训练后难以彻底移除特定用户的敏感信息，现有的微调或遗忘方法往往在效果与通用能力之间难以平衡，导致模型要么遗忘不彻底，要么产生严重的性能退化。在数据集构建层面，收集真实个人数据需要严格遵循隐私法规，确保数据脱敏与使用授权，同时样本规模被限制在1K至10K之间，如何在有限的数据量内覆盖多样化的隐私场景并保证标注质量，构成了工程与伦理上的双重考验。

常用场景

经典使用场景

在大型语言模型（LLM）隐私保护的研究领域中，RETURN数据集作为首个面向真实世界个人数据的遗忘学习（Unlearning）基准，填补了现有合成数据难以模拟现实隐私泄露的空白。该数据集精心收集了涵盖身份、联系方式、财务信息等多维度的真实个人数据，并配以相应的问答对，使得研究者能够评估模型在遗忘特定私人信息后，是否仍能保持对其他知识的完整记忆。其经典使用场景聚焦于评估LLM在指令微调或推理阶段，通过遗忘学习技术移除敏感信息时的有效性、泛化能力与模型效用之间的权衡。

解决学术问题

RETURN数据集的核心贡献在于解决了学术界长期面临的隐私评估缺乏真实性与标准化的问题。此前，多数研究依赖人工构造的隐私模板或虚构数据，难以反映模型在真实部署中遭遇的隐私泄露风险。通过提供真实且经过脱敏处理的个人数据，RETURN使得研究者能够量化分析LLM在遗忘学习后，对特定身份信息的记忆残留程度。这一数据集的出现，推动了隐私保护研究从定性分析向定量评估的转变，为衡量不同遗忘算法在真实场景下的鲁棒性与彻底性提供了可复现的基准，深刻影响了LLM安全领域的研究范式。

衍生相关工作

基于RETURN数据集，学术界已衍生出多项具有影响力的经典工作。其中最具代表性的当属其配套论文《Learning to Refuse》，该工作首次提出通过“学会拒绝”策略来缓解LLM的隐私风险，即在模型生成过程中动态识别并避免输出敏感信息，而非简单删除训练数据。此外，后续研究进一步探索了基于梯度上升、模型剪枝、知识蒸馏等多种遗忘学习范式的有效性，并利用RETURN数据集作为统一评估标准。这些衍生工作共同构建了从数据构建、算法设计到评估体系的全链条研究框架，推动了LLM隐私保护领域的系统性发展。