AIDBench

AIDBench是由北京大学、上海交通大学和香港科技大学联合创建的一个综合性数据集，旨在评估大型语言模型在作者识别方面的能力。该数据集包含多个子数据集，包括研究论文、Enron邮件、博客、IMDb评论和Guardian文章，总计24095条数据。数据集的创建过程包括从arXiv等来源收集数据，并进行去重和筛选，确保每个作者至少有10篇论文。AIDBench主要应用于学术写作中的作者识别，旨在解决匿名文本的作者识别问题，从而揭示大型语言模型在隐私保护方面的潜在风险。

AIDBench is a comprehensive dataset jointly created by Peking University, Shanghai Jiao Tong University, and The Hong Kong University of Science and Technology, which aims to evaluate the capabilities of large language models in author identification tasks. This dataset includes multiple sub-datasets, such as research papers, Enron emails, blogs, IMDb reviews, and Guardian articles, with a total of 24,095 data samples. The development process of AIDBench involves collecting data from sources like arXiv, followed by deduplication and filtering to ensure that each author has at least 10 papers. Primarily applied to author identification in academic writing, AIDBench is designed to solve the problem of anonymous text author identification, thereby revealing potential privacy protection risks of large language models.

搜集汇总

数据集介绍

构建方式

AIDBench 数据集的构建方式体现了对大型语言模型（LLMs）在匿名文本作者识别能力评估的全面考量。该数据集整合了多个作者识别数据集，包括电子邮件、博客、评论、文章和研究论文，确保了数据来源的多样性和广泛性。AIDBench 采用了两种评估方法：一对一作者识别，用于确定两段文本是否来自同一作者；一对多作者识别，通过给定一段查询文本和一组候选文本，识别出最可能与查询文本作者相同的候选文本。此外，数据集还引入了基于检索增强生成（RAG）的方法，以提升 LLMs 在大规模作者识别任务中的能力，特别是在输入长度超过模型上下文窗口时，为作者识别任务设立了新的基准。

特点

AIDBench 数据集的主要特点在于其对匿名系统中作者识别问题的深入探讨和全面评估。数据集不仅涵盖了多种文本类型，还通过一对一和一对多的评估方法，模拟了实际应用中的复杂场景。此外，AIDBench 引入了 RAG 方法，有效解决了 LLMs 在处理长文本时的局限性，增强了模型在复杂环境下的作者识别能力。实验结果表明，LLMs 在 AIDBench 上的表现显著优于随机猜测，揭示了这些强大模型在隐私风险方面的潜在威胁。

使用方法

AIDBench 数据集的使用方法主要包括两个步骤：数据准备和模型评估。首先，用户需要从数据集中选择合适的子集进行实验，这些子集包括研究论文、电子邮件、博客、评论和文章等。其次，用户可以使用 AIDBench 提供的评估方法，如一对一和一对多的作者识别任务，对选定的 LLMs 进行评估。评估过程中，用户可以利用 RAG 方法来处理长文本，确保模型在不同上下文长度下的表现。最终，通过对比不同模型的表现，用户可以深入了解 LLMs 在作者识别任务中的能力和潜在的隐私风险。

背景与挑战

背景概述

随着大型语言模型（LLMs）的迅速发展和融入日常生活，它们带来的隐私风险日益受到关注。AIDBench数据集由北京大学和上海交通大学的研究人员创建，专注于LLMs可能帮助识别匿名文本作者的特定隐私风险。该数据集整合了多个作者识别数据集，包括电子邮件、博客、评论、文章和研究论文，旨在评估LLMs在匿名同行评审系统等实际应用中的匿名性挑战。AIDBench通过一对一和一对多的作者识别评估方法，结合检索增强生成（RAG）技术，为LLMs在作者识别任务中的应用建立了新的基准。

当前挑战

AIDBench数据集面临的挑战主要集中在两个方面：一是解决领域问题，即在匿名系统中准确识别文本作者的挑战；二是构建过程中遇到的挑战，包括处理不同类型和长度的文本数据，以及在LLMs的上下文窗口限制下进行大规模作者识别。此外，数据集还需要应对不同作者风格和主题多样性带来的识别难度，以及如何在保护隐私的同时进行有效的模型评估。

常用场景

经典使用场景

AIDBench 数据集的经典使用场景在于评估大型语言模型（LLMs）在匿名文本作者识别方面的能力。该数据集通过整合多个作者识别数据集，包括电子邮件、博客、评论、文章和研究论文，提供了丰富的文本样本。其核心任务包括一对一的作者识别，即判断两段文本是否出自同一作者，以及一对多的作者识别，即在给定一段查询文本和一组候选文本的情况下，识别出最可能与查询文本作者相同的候选文本。

衍生相关工作

AIDBench 数据集的发布催生了一系列相关研究工作，特别是在作者识别和隐私保护领域。例如，一些研究利用该数据集开发了新的作者识别算法，而另一些则专注于改进现有模型的隐私保护机制。此外，该数据集还激发了对大型语言模型在隐私泄露方面更深入的理论研究，推动了相关技术的进步。

数据集最近研究

最新研究方向

近年来，AIDBench数据集在大型语言模型（LLMs）的作者身份识别能力评估方面取得了显著进展。该数据集聚焦于LLMs可能帮助识别匿名文本作者的具体隐私风险，特别是在匿名同行评审系统等现实世界系统中的应用。最新研究方向包括开发基于检索增强生成（RAG）的方法，以提升LLMs在大规模作者身份识别中的能力，尤其是在输入长度超过模型上下文窗口时。此外，研究还涉及在不同设置下评估LLMs的作者身份识别任务，揭示了这些强大模型带来的新隐私风险。

相关研究论文

• AIDBench: A benchmark for evaluating the authorship identification capability of large language models

  北京大学, 上海交通大学, 香港科技大学 · 2024年