cygu/sampling-distill-train-data-kth-shift4

该数据集用于基于采样的水印蒸馏训练，使用了KTH（s=4）水印策略。数据集包含640,000个水印样本，每个样本长度为256个token，这些样本是基于Llama 2 7B模型生成的。每个样本使用来自OpenWebText的50-token前缀进行提示，但这些前缀不包含在样本中。

原始信息汇总

数据集概述

数据集名称

• 名称: sampling-distill-train-data-kth-shift4

数据集特征

• 特征:
  • 名称: text
  • 数据类型: string

数据集拆分

• 拆分:
  • 名称: train
  • 示例数量: 640000
  • 字节数: 636575259

数据集大小

• 下载大小: 431714201
• 数据集大小: 636575259

数据集用途

• 用于基于采样的水印提炼训练，采用KTH (s=4) 水印策略，与论文On the Learnability of Watermarks for Language Models相关。
• 使用Llama 2 7B生成640,000个水印样本，每个样本256个令牌长。
• 每个样本使用来自OpenWebText的50个令牌前缀进行提示（提示不包含在样本中）。