swj0419/BookMIA
收藏资源简介：
BookMIA数据集是一个用于评估成员推断攻击（MIA）方法的基准数据集，特别用于检测OpenAI模型在2023年之前发布的预训练数据。数据集包含非成员数据和成员数据：非成员数据来自2023年首次出版的书籍，成员数据则来自较早出版的书籍。该数据集适用于2023年之前发布的多种OpenAI模型，如text-davinci-001和text-davinci-002等。数据集的文本长度为512，标签0表示在预训练期间未见过的数据，标签1表示在预训练期间见过的数据。
The BookMIA dataset is a benchmark for evaluating Membership Inference Attack (MIA) methods, specifically developed to detect pre-training data of OpenAI models released prior to 2023. It comprises non-member data and member data: non-member data is sourced from books first published in 2023, whereas member data comes from books published at an earlier date. This dataset is compatible with multiple OpenAI models released before 2023, including text-davinci-001 and text-davinci-002. Each text sample in the dataset has a fixed length of 512, with label 0 representing data not encountered during pre-training, and label 1 representing data seen during pre-training.
📘 BookMIA 数据集
BookMIA 数据集 是一个用于评估成员推理攻击（MIA）方法的基准数据集，特别是用于检测 OpenAI 模型在2023年之前发布的预训练数据（例如 text-davinci-003）。
数据集包含非成员数据和成员数据：
- 非成员数据包括2023年首次出版的书籍中的文本摘录。
- 成员数据包括根据 Chang 等人在2023年的分类，来自较旧书籍的文本摘录。
📌 适用性
该数据集可应用于2023年之前发布的各种 OpenAI 模型：
- text-davinci-001
- text-davinci-002
- 以及其他更多模型。
加载数据集
加载数据集的代码如下：
python from datasets import load_dataset
dataset = load_dataset("swj0419/BookMIA")
- 文本长度：
512。 - 标签0：表示预训练期间未见过的数据。标签1：表示预训练期间见过的数据。
引用我们的工作
如果您发现我们的代码库和数据集有益，请引用我们的工作：
bibtex @misc{shi2023detecting, title={Detecting Pretraining Data from Large Language Models}, author={Weijia Shi and Anirudh Ajith and Mengzhou Xia and Yangsibo Huang and Daogao Liu and Terra Blevins and Danqi Chen and Luke Zettlemoyer}, year={2023}, eprint={2310.16789}, archivePrefix={arXiv}, primaryClass={cs.CL} }
