cygu/sampling-distill-train-data-aar-k3

该数据集用于基于采样的水印蒸馏训练，使用了Aar (k=3)水印策略。生成过程使用了Llama 2 7B模型，并基于解码水印技术生成了640,000个水印样本，每个样本长度为256个token。样本的生成基于OpenWebText的50-token前缀提示，但这些提示不包含在样本中。该数据集用于基于采样的水印蒸馏训练，使用了Aar (k=3)水印策略。生成过程使用了Llama 2 7B模型，并基于解码水印技术生成了640,000个水印样本，每个样本长度为256个token。样本的生成基于OpenWebText的50-token前缀提示，但这些提示不包含在样本中。

原始信息汇总

数据集概述

数据集名称

• 名称: sampling-distill-train-data-aar-k3

数据集特征

• 特征:
  • 名称: text
  • 数据类型: string

数据集划分

• 划分:
  • 名称: train
  • 示例数量: 640000
  • 数据大小: 636698426字节

数据集大小

• 下载大小: 349130795字节
• 数据集总大小: 636698426字节

数据集用途

• 用于基于采样的水印蒸馏训练，采用Aar(k=3)水印策略，生成640,000个水印样本，每个样本256个令牌长。样本前缀为来自OpenWebText的50个令牌。