boyiwei/CoTaEval

CoTaEval数据集用于评估语言模型的版权下架方法的可行性和副作用。数据集包含新闻和书籍两个领域。新闻领域有三个子集：用于遗忘的news_for_unlearning、用于侵权评估的news_infringement和用于效用评估的news_utility。书籍领域有两个子集：用于侵权评估的books_infringement和用于效用评估的books_utility。每个子集都有特定的数据文件和用途，如侵权测试、效用测试和遗忘测试。

原始信息汇总

CoTaEval Dataset

概述

CoTaEval Dataset 用于评估语言模型在版权下架方法中的可行性和副作用。该数据集包含两个领域：新闻（News）和书籍（Books）。

数据集结构

新闻（News）

• news_for_unlearning
  • forget_set: 1k 行
  • retain_set: 1k 行
• news_infringement
  • blocklisted: 1k 行
• news_utility
  • blocklisted: 500 行
  • in_domain: 500 行

书籍（Books）

• books_infringement
  • blocklisted: 500 行
• books_utility
  • blocklisted: 500 行（仅前200行用于效用评估）
  • in_domain: 200 行

使用示例

侵权测试（以新闻为例）

python from datasets import load_dataset

dataset = load_dataset("boyiwei/CoTaEval", "news_infringement", split="blocklisted")

使用 prompt_autocomplete 作为提示，计算生成的内容与 gt_autocomplete 之间的8个侵权指标。

效用测试（以新闻为例）

python from datasets import load_dataset

dataset = load_dataset("boyiwei/CoTaEval", "news_utility", split="blocklisted") # 使用 split="in_domain" 进行域内效用测试

对于新闻，使用 question 提示模型，计算生成的内容与 answer 之间的 F1 分数。对于书籍，要求模型总结书籍章节，并计算生成的内容与 summary 之间的 ROUGE 分数。

遗忘学习（参考 TOFU 了解更多详情）

python from datasets import load_dataset

dataset = load_dataset("boyiwei/CoTaEval", "news_for_unlearning", split="forget_set") # 使用 split="retain_set" 获取保留集

搜集汇总

背景与挑战

背景概述

CoTaEval数据集是一个用于评估语言模型版权下架方法可行性和副作用的文本数据集，涵盖新闻和书籍两个领域，包含侵权、实用性和遗忘测试等多个子集，总计5,200行数据。该数据集通过提供文本提示和参考内容，支持对模型生成内容进行侵权指标和实用性指标的量化评估。