unlearning-cleanslate/fsid-curated-gemma-12b-target-100

提供的README内容描述了一个包含多个配置的数据集，每个配置都有不同的特征和分割。数据集似乎与记忆或记忆任务相关，如memorized_fraction、memorized_windows和rule_name等特征所示。配置包括forget、forget_pool、retain和retain_pool，每个配置都有不同的特征和分割。forget和retain配置有多个分割（baseline、bm25_10B、bm25_6T、igm_10B），而forget_pool和retain_pool有一个单一的train分割。特征在不同配置中有所不同，一些关注内容识别（如content_id、content_title），记忆度量（如memorized_fraction、max_p_z）和文本分析（如text_length_chars、avg_rouge_l）。数据集似乎是为涉及文本记忆、再现和评估的任务设计的，可能在机器学习或自然语言处理的背景下。

数据集信息：
- 配置名称：forget
特征字段：
- 名称：请求ID（request_id），数据类型：字符串
- 名称：内容ID（content_id），数据类型：字符串
- 名称：内容标题（content_title），数据类型：字符串
- 名称：窗口索引（window_idx），数据类型：int64
- 名称：前缀（prefix），数据类型：字符串
- 名称：后缀（suffix），数据类型：字符串
- 名称：记忆比例（memorized_fraction），数据类型：float64
- 名称：规则名称（rule_name），数据类型：字符串
数据集划分：
- 划分名称：baseline，字节数：14843432，样本数：45397
- 划分名称：bm25_10B，字节数：4209981，样本数：12773
- 划分名称：bm25_6T，字节数：1800483，样本数：5485
- 划分名称：igm_10B，字节数：4115904，样本数：12556
下载总大小：4067178，数据集总大小：24969800
- 配置名称：forget_pool
特征字段：
- 名称：内容ID（content_id），数据类型：字符串
- 名称：内容标题（content_title），数据类型：字符串
- 名称：内容创作者（content_creators），数据类型：字符串列表
- 名称：内容发布年份（content_year），数据类型：int64
- 名称：歌词（lyrics），数据类型：字符串
- 名称：记忆比例（memorized_fraction），数据类型：float64
- 名称：最大p_z（max_p_z），数据类型：float64
- 名称：窗口总数（num_windows），数据类型：int64
- 名称：记忆窗口数（memorized_windows），数据类型：int64
- 名称：源数据集（source_dataset），数据类型：字符串
- 名称：池化分箱编号（pool_bin），数据类型：int64
数据集划分：
- 划分名称：train，字节数：496793，样本数：100
下载总大小：270113，数据集总大小：496793
- 配置名称：retain
特征字段：
- 名称：文本（text），数据类型：字符串
- 名称：规则名称（rule_name），数据类型：字符串
数据集划分：
- 划分名称：baseline，字节数：1156576，样本数：1646
- 划分名称：bm25_10B，字节数：1153284，样本数：1646
- 划分名称：bm25_6T，字节数：1151638，样本数：1646
- 划分名称：igm_10B，字节数：1151638，样本数：1646
下载总大小：2540876，数据集总大小：4613136
- 配置名称：retain_pool
特征字段：
- 名称：字符总长度（text_length_chars），数据类型：int64
- 名称：窗口总数（num_windows），数据类型：int64
- 名称：记忆窗口数（memorized_windows），数据类型：int64
- 名称：记忆比例（memorized_fraction），数据类型：float64
- 名称：重现窗口数（reproduced_windows），数据类型：int64
- 名称：重现比例（reproduced_fraction），数据类型：float64
- 名称：平均ROUGE-L（avg_rouge_l），数据类型：float64
- 名称：最大ROUGE-L（max_rouge_l），数据类型：float64
- 名称：覆盖率（coverage），数据类型：float64
- 名称：最大p_z（max_p_z），数据类型：float64
- 名称：平均p_z（mean_p_z），数据类型：float64
- 名称：p_z中位数（median_p_z），数据类型：float64
- 名称：最小p_z（min_p_z），数据类型：float64
- 名称：p_z标准差（std_p_z），数据类型：float64
- 名称：平均困惑度（mean_perplexity），数据类型：float64
- 名称：最小困惑度（min_perplexity），数据类型：float64
- 名称：最优窗口索引（best_window_idx），数据类型：int64
- 名称：最优窗口p_z值（best_window_p_z），数据类型：float64
- 名称：最优窗口生成种子（best_window_seed），数据类型：字符串
- 名称：最优窗口目标文本（best_window_target），数据类型：字符串
- 名称：最优窗口起始字符位置（best_window_start_char），数据类型：int64
- 名称：最优窗口结束字符位置（best_window_end_char），数据类型：int64
- 名称：最优窗口生成文本（best_window_generated），数据类型：空值（null）
- 名称：最优窗口束搜索结果（best_window_beams），数据类型：空值（null）
- 名称：最优窗口BLEU-1得分（best_window_bleu_1），数据类型：空值（null）
- 名称：最优窗口ROUGE-L得分（best_window_rouge_l），数据类型：空值（null）
- 名称：最优窗口精确匹配结果（best_window_exact_match），数据类型：空值（null）
- 名称：最优窗口任意精确匹配结果（best_window_any_exact_match），数据类型：空值（null）
- 名称：最优窗口最大BLEU-1得分（best_window_max_bleu_1），数据类型：空值（null）
- 名称：最优窗口最大ROUGE-L得分（best_window_max_rouge_l），数据类型：空值（null）
- 名称：平均最大BLEU-1得分（avg_max_bleu_1），数据类型：空值（null）
- 名称：平均最大ROUGE-L得分（avg_max_rouge_l），数据类型：空值（null）
- 名称：平均任意精确匹配结果（avg_any_exact_match），数据类型：空值（null）
- 名称：评估模型（eval_model），数据类型：字符串
- 名称：评估阈值（eval_threshold），数据类型：float64
- 名称：窗口大小（window_size），数据类型：int64
- 名称：滑动步长（stride），数据类型：int64
- 名称：解码策略（decode_strategy），数据类型：空值（null）
- 名称：束宽（beam_width），数据类型：空值（null）
- 名称：长度惩罚系数（length_penalty），数据类型：空值（null）
- 名称：是否重现所有窗口（reproduce_all_windows），数据类型：布尔值
- 名称：字符到最大p_z映射列表（char_to_max_pz），数据类型：float64类型列表
- 名称：窗口信息列表（windows），数据类型：列表，其子特征为：
- 名称：结束字符位置（end_char），数据类型：int64
- 名称：索引（idx），数据类型：int64
- 名称：是否被记忆（is_memorized），数据类型：布尔值
- 名称：对数概率（log_prob），数据类型：float64
- 名称：p_z（p_z），数据类型：float64
- 名称：困惑度（perplexity），数据类型：float64
- 名称：Top1命中比例（rank_1_fraction），数据类型：float64
- 名称：生成种子（seed），数据类型：字符串
- 名称：起始字符位置（start_char），数据类型：int64
- 名称：目标文本（target），数据类型：字符串
- 名称：内容ID（content_id），数据类型：字符串
- 名称：内容标题（content_title），数据类型：字符串
- 名称：内容创作者（content_creators），数据类型：字符串
- 名称：内容发布年份（content_year），数据类型：int64
- 名称：参考目标文本（reference_target），数据类型：字符串
- 名称：歌曲ID（song_id），数据类型：字符串
- 名称：歌曲标题（song_title），数据类型：字符串
数据集划分：
- 划分名称：train，字节数：1418982781，样本数：4563
下载总大小：1401002284，数据集总大小：1418982781
配置列表：
- 配置名称：forget，数据文件映射：
- 划分：baseline，路径：forget/baseline-*
- 划分：bm25_10B，路径：forget/bm25_10B-*
- 划分：bm25_6T，路径：forget/bm25_6T-*
- 划分：igm_10B，路径：forget/igm_10B-*
- 配置名称：forget_pool，数据文件映射：
- 划分：train，路径：forget_pool/train-*
- 配置名称：retain，数据文件映射：
- 划分：baseline，路径：retain/baseline-*
- 划分：bm25_10B，路径：retain/bm25_10B-*
- 划分：bm25_6T，路径：retain/bm25_6T-*
- 划分：igm_10B，路径：retain/igm_10B-*
- 配置名称：retain_pool，数据文件映射：
- 划分：train，路径：retain_pool/train-*