usvsnsp/generation-semantic-memorization-filters
收藏资源简介：
--- dataset_info: features: - name: sequence_id dtype: int64 - name: text dtype: string - name: is_incrementing dtype: bool - name: sequence_duplicates dtype: int64 - name: max_frequency dtype: int64 - name: avg_frequency dtype: float64 - name: min_frequency dtype: int64 - name: median_frequency dtype: float64 - name: p25_frequency dtype: int64 - name: p75_frequency dtype: int64 - name: frequencies sequence: int64 - name: tokens sequence: int64 - name: repeating_offset dtype: int32 - name: num_repeating dtype: int32 - name: smallest_repeating_chunk sequence: int64 - name: nl_scores dtype: float32 - name: 0_8_snowclones dtype: int64 - name: 0_9_snowclones dtype: int64 - name: 0_8_templates dtype: int64 - name: 0_9_templates dtype: int64 - name: huffman_coding_length dtype: float64 - name: memorization_score dtype: float64 - name: generation_perplexity dtype: float64 splits: - name: pile_duped_410m num_bytes: 7123348430 num_examples: 5000000 - name: memories_deduped_160m num_bytes: 823500869 num_examples: 581200 - name: pile_deduped_2.8b num_bytes: 7134034756 num_examples: 5000000 - name: pile_deduped_1b num_bytes: 7133409756 num_examples: 5000000 - name: memories_duped_2.8b num_bytes: 2333155652 num_examples: 1675078 - name: pile_duped_1.4b num_bytes: 7123348430 num_examples: 5000000 - name: pile_deduped_12b num_bytes: 7133409756 num_examples: 5000000 - name: memories_deduped_1.4b num_bytes: 1475622003 num_examples: 1048097 - name: memories_duped_410m num_bytes: 1360848266 num_examples: 970344 - name: pile_duped_2.8b num_bytes: 7123348430 num_examples: 5000000 - name: memories_deduped_410m num_bytes: 1145472499 num_examples: 811040 - name: memories_deduped_1b num_bytes: 1455198363 num_examples: 1032872 - name: memories_duped_12b num_bytes: 3309825556 num_examples: 2382328 - name: memories_deduped_70m num_bytes: 586086312 num_examples: 411448 - name: pile_duped_1b num_bytes: 7123348430 num_examples: 5000000 - name: pile_deduped_1.4b num_bytes: 7134034756 num_examples: 5000000 - name: pile_deduped_70m num_bytes: 7133409756 num_examples: 5000000 - name: pile_duped_6.9b num_bytes: 7123348430 num_examples: 5000000 - name: memories_duped_70m num_bytes: 659286070 num_examples: 463960 - name: pile_duped_12b num_bytes: 7123348430 num_examples: 5000000 - name: memories_deduped_6.9b num_bytes: 2359576889 num_examples: 1680294 - name: pile_duped_160m num_bytes: 7123348430 num_examples: 5000000 - name: memories_duped_6.9b num_bytes: 2949197348 num_examples: 2120971 - name: pile_deduped_410m num_bytes: 7133409756 num_examples: 5000000 - name: pile_deduped_160m num_bytes: 7133409756 num_examples: 5000000 - name: memories_duped_1b num_bytes: 1755692131 num_examples: 1256144 - name: pile_deduped_6.9b num_bytes: 7134034756 num_examples: 5000000 - name: pile_duped_70m num_bytes: 7123348430 num_examples: 5000000 - name: memories_deduped_12b num_bytes: 2626258620 num_examples: 1871216 - name: memories_deduped_2.8b num_bytes: 1904601881 num_examples: 1355211 - name: memories_duped_1.4b num_bytes: 1917661495 num_examples: 1373723 - name: memories_duped_160m num_bytes: 972466846 num_examples: 689680 download_size: 58080323885 dataset_size: 141690391288 configs: - config_name: default data_files: - split: pile_duped_410m path: data/pile_duped_410m-* - split: memories_deduped_160m path: data/memories_deduped_160m-* - split: pile_deduped_2.8b path: data/pile_deduped_2.8b-* - split: pile_deduped_1b path: data/pile_deduped_1b-* - split: memories_duped_2.8b path: data/memories_duped_2.8b-* - split: pile_duped_1.4b path: data/pile_duped_1.4b-* - split: pile_deduped_12b path: data/pile_deduped_12b-* - split: memories_deduped_1.4b path: data/memories_deduped_1.4b-* - split: memories_duped_410m path: data/memories_duped_410m-* - split: pile_duped_2.8b path: data/pile_duped_2.8b-* - split: memories_deduped_410m path: data/memories_deduped_410m-* - split: memories_deduped_1b path: data/memories_deduped_1b-* - split: memories_duped_12b path: data/memories_duped_12b-* - split: memories_deduped_70m path: data/memories_deduped_70m-* - split: pile_duped_1b path: data/pile_duped_1b-* - split: pile_deduped_1.4b path: data/pile_deduped_1.4b-* - split: pile_deduped_70m path: data/pile_deduped_70m-* - split: pile_duped_6.9b path: data/pile_duped_6.9b-* - split: memories_duped_70m path: data/memories_duped_70m-* - split: pile_duped_12b path: data/pile_duped_12b-* - split: memories_deduped_6.9b path: data/memories_deduped_6.9b-* - split: pile_duped_160m path: data/pile_duped_160m-* - split: memories_duped_6.9b path: data/memories_duped_6.9b-* - split: pile_deduped_410m path: data/pile_deduped_410m-* - split: pile_deduped_160m path: data/pile_deduped_160m-* - split: memories_duped_1b path: data/memories_duped_1b-* - split: pile_deduped_6.9b path: data/pile_deduped_6.9b-* - split: pile_duped_70m path: data/pile_duped_70m-* - split: memories_deduped_12b path: data/memories_deduped_12b-* - split: memories_deduped_2.8b path: data/memories_deduped_2.8b-* - split: memories_duped_1.4b path: data/memories_duped_1.4b-* - split: memories_duped_160m path: data/memories_duped_160m-* ---
数据集信息： 特征字段： - 名称：序列ID（sequence_id），数据类型：64位整数（int64） - 名称：文本（text），数据类型：字符串（string） - 名称：是否递增（is_incrementing），数据类型：布尔值（bool） - 名称：序列重复计数（sequence_duplicates），数据类型：64位整数（int64） - 名称：最大频率（max_frequency），数据类型：64位整数（int64） - 名称：平均频率（avg_frequency），数据类型：64位浮点数（float64） - 名称：最小频率（min_frequency），数据类型：64位整数（int64） - 名称：中位数频率（median_frequency），数据类型：64位浮点数（float64） - 名称：下四分位数频率（p25_frequency），数据类型：64位整数（int64） - 名称：上四分位数频率（p75_frequency），数据类型：64位整数（int64） - 名称：频率序列（frequencies），序列元素类型：64位整数（int64） - 名称：词元（Token）序列（tokens），序列元素类型：64位整数（int64） - 名称：重复偏移量（repeating_offset），数据类型：32位整数（int32） - 名称：重复次数统计（num_repeating），数据类型：32位整数（int32） - 名称：最小重复块（smallest_repeating_chunk），序列元素类型：64位整数（int64） - 名称：自然语言得分（nl_scores），数据类型：32位浮点数（float32） - 名称：0.8阈值雪克隆句式（snowclones），数据类型：64位整数（int64） - 名称：0.9阈值雪克隆句式（snowclones），数据类型：64位整数（int64） - 名称：0.8阈值模板（0_8_templates），数据类型：64位整数（int64） - 名称：0.9阈值模板（0_9_templates），数据类型：64位整数（int64） - 名称：霍夫曼编码长度（huffman_coding_length），数据类型：64位浮点数（float64） - 名称：记忆得分（memorization_score），数据类型：64位浮点数（float64） - 名称：生成困惑度（generation_perplexity），数据类型：64位浮点数（float64） 数据拆分： - 拆分名称：pile_duped_410m，总字节数：7123348430，样本数量：5000000 - 拆分名称：memories_deduped_160m，总字节数：823500869，样本数量：581200 - 拆分名称：pile_deduped_2.8b，总字节数：7134034756，样本数量：5000000 - 拆分名称：pile_deduped_1b，总字节数：7133409756，样本数量：5000000 - 拆分名称：memories_duped_2.8b，总字节数：2333155652，样本数量：1675078 - 拆分名称：pile_duped_1.4b，总字节数：7123348430，样本数量：5000000 - 拆分名称：pile_deduped_12b，总字节数：7133409756，样本数量：5000000 - 拆分名称：memories_deduped_1.4b，总字节数：1475622003，样本数量：1048097 - 拆分名称：memories_duped_410m，总字节数：1360848266，样本数量：970344 - 拆分名称：pile_duped_2.8b，总字节数：7123348430，样本数量：5000000 - 拆分名称：memories_deduped_410m，总字节数：1145472499，样本数量：811040 - 拆分名称：memories_deduped_1b，总字节数：1455198363，样本数量：1032872 - 拆分名称：memories_duped_12b，总字节数：3309825556，样本数量：2382328 - 拆分名称：memories_deduped_70m，总字节数：586086312，样本数量：411448 - 拆分名称：pile_duped_1b，总字节数：7123348430，样本数量：5000000 - 拆分名称：pile_deduped_1.4b，总字节数：7134034756，样本数量：5000000 - 拆分名称：pile_deduped_70m，总字节数：7133409756，样本数量：5000000 - 拆分名称：pile_duped_6.9b，总字节数：7123348430，样本数量：5000000 - 拆分名称：memories_duped_70m，总字节数：659286070，样本数量：463960 - 拆分名称：pile_duped_12b，总字节数：7123348430，样本数量：5000000 - 拆分名称：memories_deduped_6.9b，总字节数：2359576889，样本数量：1680294 - 拆分名称：pile_duped_160m，总字节数：7123348430，样本数量：5000000 - 拆分名称：memories_duped_6.9b，总字节数：2949197348，样本数量：2120971 - 拆分名称：pile_deduped_410m，总字节数：7133409756，样本数量：5000000 - 拆分名称：pile_deduped_160m，总字节数：7133409756，样本数量：5000000 - 拆分名称：memories_duped_1b，总字节数：1755692131，样本数量：1256144 - 拆分名称：pile_deduped_6.9b，总字节数：7134034756，样本数量：5000000 - 拆分名称：pile_duped_70m，总字节数：7123348430，样本数量：5000000 - 拆分名称：memories_deduped_12b，总字节数：2626258620，样本数量：1871216 - 拆分名称：memories_deduped_2.8b，总字节数：1904601881，样本数量：1355211 - 拆分名称：memories_duped_1.4b，总字节数：1917661495，样本数量：1373723 - 拆分名称：memories_duped_160m，总字节数：972466846，样本数量：689680 下载总大小：58080323885 数据集总大小：141690391288 配置项： - 配置名称：默认（default），数据文件： - 对应拆分：pile_duped_410m，文件路径：data/pile_duped_410m-* - 对应拆分：memories_deduped_160m，文件路径：data/memories_deduped_160m-* - 对应拆分：pile_deduped_2.8b，文件路径：data/pile_deduped_2.8b-* - 对应拆分：pile_deduped_1b，文件路径：data/pile_deduped_1b-* - 对应拆分：memories_duped_2.8b，文件路径：data/memories_duped_2.8b-* - 对应拆分：pile_duped_1.4b，文件路径：data/pile_duped_1.4b-* - 对应拆分：pile_deduped_12b，文件路径：data/pile_deduped_12b-* - 对应拆分：memories_deduped_1.4b，文件路径：data/memories_deduped_1.4b-* - 对应拆分：memories_duped_410m，文件路径：data/memories_duped_410m-* - 对应拆分：pile_duped_2.8b，文件路径：data/pile_duped_2.8b-* - 对应拆分：memories_deduped_410m，文件路径：data/memories_deduped_410m-* - 对应拆分：memories_deduped_1b，文件路径：data/memories_deduped_1b-* - 对应拆分：memories_duped_12b，文件路径：data/memories_duped_12b-* - 对应拆分：memories_deduped_70m，文件路径：data/memories_deduped_70m-* - 对应拆分：pile_duped_1b，文件路径：data/pile_duped_1b-* - 对应拆分：pile_deduped_1.4b，文件路径：data/pile_deduped_1.4b-* - 对应拆分：pile_deduped_70m，文件路径：data/pile_deduped_70m-* - 对应拆分：pile_duped_6.9b，文件路径：data/pile_duped_6.9b-* - 对应拆分：memories_duped_70m，文件路径：data/memories_duped_70m-* - 对应拆分：pile_duped_12b，文件路径：data/pile_duped_12b-* - 对应拆分：memories_deduped_6.9b，文件路径：data/memories_deduped_6.9b-* - 对应拆分：pile_duped_160m，文件路径：data/pile_duped_160m-* - 对应拆分：memories_duped_6.9b，文件路径：data/memories_duped_6.9b-* - 对应拆分：pile_deduped_410m，文件路径：data/pile_deduped_410m-* - 对应拆分：pile_deduped_160m，文件路径：data/pile_deduped_160m-* - 对应拆分：memories_duped_1b，文件路径：data/memories_duped_1b-* - 对应拆分：pile_deduped_6.9b，文件路径：data/pile_deduped_6.9b-* - 对应拆分：pile_duped_70m，文件路径：data/pile_duped_70m-* - 对应拆分：memories_deduped_12b，文件路径：data/memories_deduped_12b-* - 对应拆分：memories_deduped_2.8b，文件路径：data/memories_deduped_2.8b-* - 对应拆分：memories_duped_1.4b，文件路径：data/memories_duped_1.4b-* - 对应拆分：memories_duped_160m，文件路径：data/memories_duped_160m-*
数据集概述
数据集特征
数据集包含以下特征：
sequence_id: 整数类型，表示序列ID。text: 字符串类型，表示文本内容。is_incrementing: 布尔类型，表示是否递增。sequence_duplicates: 整数类型，表示序列重复次数。max_frequency: 整数类型，表示最大频率。avg_frequency: 浮点数类型，表示平均频率。min_frequency: 整数类型，表示最小频率。median_frequency: 浮点数类型，表示中位数频率。p25_frequency: 整数类型，表示25百分位频率。p75_frequency: 整数类型，表示75百分位频率。frequencies: 整数序列类型，表示频率。tokens: 整数序列类型，表示词元。repeating_offset: 整数类型，表示重复偏移量。num_repeating: 整数类型，表示重复次数。smallest_repeating_chunk: 整数序列类型，表示最小重复块。nl_scores: 浮点数类型，表示自然语言得分。0_8_snowclones: 整数类型，表示0.8版本的雪克隆。0_9_snowclones: 整数类型，表示0.9版本的雪克隆。0_8_templates: 整数类型，表示0.8版本的模板。0_9_templates: 整数类型，表示0.9版本的模板。huffman_coding_length: 浮点数类型，表示霍夫曼编码长度。memorization_score: 浮点数类型，表示记忆得分。generation_perplexity: 浮点数类型，表示生成困惑度。
数据集分割
数据集包含以下分割：
pile_duped_410m: 字节数为7123348430，示例数为5000000。memories_deduped_160m: 字节数为823500869，示例数为581200。pile_deduped_2.8b: 字节数为7134034756，示例数为5000000。pile_deduped_1b: 字节数为7133409756，示例数为5000000。memories_duped_2.8b: 字节数为2333155652，示例数为1675078。pile_duped_1.4b: 字节数为7123348430，示例数为5000000。pile_deduped_12b: 字节数为7133409756，示例数为5000000。memories_deduped_1.4b: 字节数为1475622003，示例数为1048097。memories_duped_410m: 字节数为1360848266，示例数为970344。pile_duped_2.8b: 字节数为7123348430，示例数为5000000。memories_deduped_410m: 字节数为1145472499，示例数为811040。memories_deduped_1b: 字节数为1455198363，示例数为1032872。memories_duped_12b: 字节数为3309825556，示例数为2382328。memories_deduped_70m: 字节数为586086312，示例数为411448。pile_duped_1b: 字节数为7123348430，示例数为5000000。pile_deduped_1.4b: 字节数为7134034756，示例数为5000000。pile_deduped_70m: 字节数为7133409756，示例数为5000000。pile_duped_6.9b: 字节数为7123348430，示例数为5000000。memories_duped_70m: 字节数为659286070，示例数为463960。pile_duped_12b: 字节数为7123348430，示例数为5000000。memories_deduped_6.9b: 字节数为2359576889，示例数为1680294。pile_duped_160m: 字节数为7123348430，示例数为5000000。memories_duped_6.9b: 字节数为2949197348，示例数为2120971。pile_deduped_410m: 字节数为7133409756，示例数为5000000。pile_deduped_160m: 字节数为7133409756，示例数为5000000。memories_duped_1b: 字节数为1755692131，示例数为1256144。pile_deduped_6.9b: 字节数为7134034756，示例数为5000000。pile_duped_70m: 字节数为7123348430，示例数为5000000。memories_deduped_12b: 字节数为2626258620，示例数为1871216。memories_deduped_2.8b: 字节数为1904601881，示例数为1355211。memories_duped_1.4b: 字节数为1917661495，示例数为1373723。memories_duped_160m: 字节数为972466846，示例数为689680。
数据集大小
- 下载大小：58080323885字节
- 数据集大小：141690391288字节
配置
- 配置名称：
default - 数据文件路径：
pile_duped_410m:data/pile_duped_410m-*memories_deduped_160m:data/memories_deduped_160m-*pile_deduped_2.8b:data/pile_deduped_2.8b-*pile_deduped_1b:data/pile_deduped_1b-*memories_duped_2.8b:data/memories_duped_2.8b-*pile_duped_1.4b:data/pile_duped_1.4b-*pile_deduped_12b:data/pile_deduped_12b-*memories_deduped_1.4b:data/memories_deduped_1.4b-*memories_duped_410m:data/memories_duped_410m-*pile_duped_2.8b:data/pile_duped_2.8b-*memories_deduped_410m:data/memories_deduped_410m-*memories_deduped_1b:data/memories_deduped_1b-*memories_duped_12b:data/memories_duped_12b-*memories_deduped_70m:data/memories_deduped_70m-*pile_duped_1b:data/pile_duped_1b-*pile_deduped_1.4b:data/pile_deduped_1.4b-*pile_deduped_70m:data/pile_deduped_70m-*pile_duped_6.9b:data/pile_duped_6.9b-*memories_duped_70m:data/memories_duped_70m-*pile_duped_12b:data/pile_duped_12b-*memories_deduped_6.9b:data/memories_deduped_6.9b-*pile_duped_160m:data/pile_duped_160m-*memories_duped_6.9b:data/memories_duped_6.9b-*pile_deduped_410m:data/pile_deduped_410m-*pile_deduped_160m:data/pile_deduped_160m-*memories_duped_1b:data/memories_duped_1b-*pile_deduped_6.9b:data/pile_deduped_6.9b-*pile_duped_70m:data/pile_duped_70m-*memories_deduped_12b:data/memories_deduped_12b-*memories_deduped_2.8b:data/memories_deduped_2.8b-*memories_duped_1.4b:data/memories_duped_1.4b-*memories_duped_160m:data/memories_duped_160m-*
