Kyle1668/pythia-semantic-memorization-perplexities

Name: Kyle1668/pythia-semantic-memorization-perplexities
Creator: Kyle1668
Published: 2023-09-19 02:40:54
License: 暂无描述

Hugging Face2023-09-19 更新2024-03-04 收录

下载链接：

https://hf-mirror.com/datasets/Kyle1668/pythia-semantic-memorization-perplexities

下载链接

链接失效反馈

官方服务：

资源简介：

--- configs: - config_name: default data_files: - split: memories.deduped.12b path: data/memories.deduped.12b-* - split: memories.duped.12b path: data/memories.duped.12b-* - split: memories.duped.6.9b path: data/memories.duped.6.9b-* - split: pile.duped.6.9b path: data/pile.duped.6.9b-* - split: memories.duped.70m path: data/memories.duped.70m-* - split: memories.duped.160m path: data/memories.duped.160m-* - split: memories.duped.410m path: data/memories.duped.410m-* - split: pile.duped.70m path: data/pile.duped.70m-* - split: pile.duped.160m path: data/pile.duped.160m-* - split: pile.duped.410m path: data/pile.duped.410m-* - split: memories.duped.1.4b path: data/memories.duped.1.4b-* - split: memories.duped.1b path: data/memories.duped.1b-* - split: memories.duped.2.8b path: data/memories.duped.2.8b-* - split: pile.duped.1.4b path: data/pile.duped.1.4b-* - split: pile.duped.1b path: data/pile.duped.1b-* - split: pile.duped.2.8b path: data/pile.duped.2.8b-* - split: pile.duped.12b path: data/pile.duped.12b-* - split: memories.deduped.70m path: data/memories.deduped.70m-* - split: memories.deduped.160m path: data/memories.deduped.160m-* - split: memories.deduped.410m path: data/memories.deduped.410m-* - split: pile.deduped.70m path: data/pile.deduped.70m-* - split: pile.deduped.160m path: data/pile.deduped.160m-* - split: pile.deduped.410m path: data/pile.deduped.410m-* - split: memories.deduped.6.9b path: data/memories.deduped.6.9b-* - split: pile.deduped.6.9b path: data/pile.deduped.6.9b-* - split: pile.deduped.12b path: data/pile.deduped.12b-* - split: memories.deduped.2.8b path: data/memories.deduped.2.8b-* - split: pile.deduped.2.8b path: data/pile.deduped.2.8b-* - split: memories.deduped.1.4b path: data/memories.deduped.1.4b-* - split: memories.deduped.1b path: data/memories.deduped.1b-* - split: pile.deduped.1.4b path: data/pile.deduped.1.4b-* - split: pile.deduped.1b path: data/pile.deduped.1b-* dataset_info: features: - name: index dtype: int32 - name: prompt_perplexity dtype: float32 - name: generation_perplexity dtype: float32 - name: sequence_perplexity dtype: float32 splits: - name: memories.deduped.12b num_bytes: 29939456 num_examples: 1871216 - name: memories.duped.12b num_bytes: 38117248 num_examples: 2382328 - name: memories.duped.6.9b num_bytes: 33935616 num_examples: 2120976 - name: pile.duped.6.9b num_bytes: 80000000 num_examples: 5000000 - name: memories.duped.70m num_bytes: 7423248 num_examples: 463953 - name: memories.duped.160m num_bytes: 11034768 num_examples: 689673 - name: memories.duped.410m num_bytes: 15525456 num_examples: 970341 - name: pile.duped.70m num_bytes: 80000000 num_examples: 5000000 - name: pile.duped.160m num_bytes: 80000000 num_examples: 5000000 - name: pile.duped.410m num_bytes: 80000000 num_examples: 5000000 - name: memories.duped.1.4b num_bytes: 21979552 num_examples: 1373722 - name: memories.duped.1b num_bytes: 20098256 num_examples: 1256141 - name: memories.duped.2.8b num_bytes: 26801232 num_examples: 1675077 - name: pile.duped.1.4b num_bytes: 80000000 num_examples: 5000000 - name: pile.duped.1b num_bytes: 80000000 num_examples: 5000000 - name: pile.duped.2.8b num_bytes: 80000000 num_examples: 5000000 - name: pile.duped.12b num_bytes: 80000000 num_examples: 5000000 - name: memories.deduped.70m num_bytes: 6583168 num_examples: 411448 - name: memories.deduped.160m num_bytes: 9299120 num_examples: 581195 - name: memories.deduped.410m num_bytes: 12976624 num_examples: 811039 - name: pile.deduped.70m num_bytes: 80000000 num_examples: 5000000 - name: pile.deduped.160m num_bytes: 80000000 num_examples: 5000000 - name: pile.deduped.410m num_bytes: 80000000 num_examples: 5000000 - name: memories.deduped.6.9b num_bytes: 26884704 num_examples: 1680294 - name: pile.deduped.6.9b num_bytes: 80000000 num_examples: 5000000 - name: pile.deduped.12b num_bytes: 80000000 num_examples: 5000000 - name: memories.deduped.2.8b num_bytes: 21683376 num_examples: 1355211 - name: pile.deduped.2.8b num_bytes: 80000000 num_examples: 5000000 - name: memories.deduped.1.4b num_bytes: 16769552 num_examples: 1048097 - name: memories.deduped.1b num_bytes: 16525840 num_examples: 1032865 - name: pile.deduped.1.4b num_bytes: 80000000 num_examples: 5000000 - name: pile.deduped.1b num_bytes: 80000000 num_examples: 5000000 download_size: 1891778367 dataset_size: 1595577216 --- # Dataset Card for "pythia-semantic-memorization-perplexities" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

配置： - 配置名称：default 数据文件： - 切分：memories.deduped.12b，路径：data/memories.deduped.12b-* - 切分：memories.duped.12b，路径：data/memories.duped.12b-* - 切分：memories.duped.6.9b，路径：data/memories.duped.6.9b-* - 切分：pile.duped.6.9b，路径：data/pile.duped.6.9b-* - 切分：memories.duped.70m，路径：data/memories.duped.70m-* - 切分：memories.duped.160m，路径：data/memories.duped.160m-* - 切分：memories.duped.410m，路径：data/memories.duped.410m-* - 切分：pile.duped.70m，路径：data/pile.duped.70m-* - 切分：pile.duped.160m，路径：data/pile.duped.160m-* - 切分：pile.duped.410m，路径：data/pile.duped.410m-* - 切分：memories.duped.1.4b，路径：data/memories.duped.1.4b-* - 切分：memories.duped.1b，路径：data/memories.duped.1b-* - 切分：memories.duped.2.8b，路径：data/memories.duped.2.8b-* - 切分：pile.duped.1.4b，路径：data/pile.duped.1.4b-* - 切分：pile.duped.1b，路径：data/pile.duped.1b-* - 切分：pile.duped.2.8b，路径：data/pile.duped.2.8b-* - 切分：pile.duped.12b，路径：data/pile.duped.12b-* - 切分：memories.deduped.70m，路径：data/memories.deduped.70m-* - 切分：memories.deduped.160m，路径：data/memories.deduped.160m-* - 切分：memories.deduped.410m，路径：data/memories.deduped.410m-* - 切分：pile.deduped.70m，路径：data/pile.deduped.70m-* - 切分：pile.deduped.160m，路径：data/pile.deduped.160m-* - 切分：pile.deduped.410m，路径：data/pile.deduped.410m-* - 切分：memories.deduped.6.9b，路径：data/memories.deduped.6.9b-* - 切分：pile.deduped.6.9b，路径：data/pile.deduped.6.9b-* - 切分：pile.deduped.12b，路径：data/pile.deduped.12b-* - 切分：memories.deduped.2.8b，路径：data/memories.deduped.2.8b-* - 切分：pile.deduped.2.8b，路径：data/pile.deduped.2.8b-* - 切分：memories.deduped.1.4b，路径：data/memories.deduped.1.4b-* - 切分：memories.deduped.1b，路径：data/memories.deduped.1b-* - 切分：pile.deduped.1.4b，路径：data/pile.deduped.1.4b-* - 切分：pile.deduped.1b，路径：data/pile.deduped.1b-* 数据集信息：特征： - 名称：index，数据类型：int32（32位整数） - 名称：prompt_perplexity（提示困惑度），数据类型：float32（32位浮点数） - 名称：generation_perplexity（生成困惑度），数据类型：float32（32位浮点数） - 名称：sequence_perplexity（序列困惑度），数据类型：float32（32位浮点数）切分详情： - 名称：memories.deduped.12b，字节数：29939456，样本数量：1871216 - 名称：memories.duped.12b，字节数：38117248，样本数量：2382328 - 名称：memories.duped.6.9b，字节数：33935616，样本数量：2120976 - 名称：pile.duped.6.9b，字节数：80000000，样本数量：5000000 - 名称：memories.duped.70m，字节数：7423248，样本数量：463953 - 名称：memories.duped.160m，字节数：11034768，样本数量：689673 - 名称：memories.duped.410m，字节数：15525456，样本数量：970341 - 名称：pile.duped.70m，字节数：80000000，样本数量：5000000 - 名称：pile.duped.160m，字节数：80000000，样本数量：5000000 - 名称：pile.duped.410m，字节数：80000000，样本数量：5000000 - 名称：memories.duped.1.4b，字节数：21979552，样本数量：1373722 - 名称：memories.duped.1b，字节数：20098256，样本数量：1256141 - 名称：memories.duped.2.8b，字节数：26801232，样本数量：1675077 - 名称：pile.duped.1.4b，字节数：80000000，样本数量：5000000 - 名称：pile.duped.1b，字节数：80000000，样本数量：5000000 - 名称：pile.duped.2.8b，字节数：80000000，样本数量：5000000 - 名称：pile.duped.12b，字节数：80000000，样本数量：5000000 - 名称：memories.deduped.70m，字节数：6583168，样本数量：411448 - 名称：memories.deduped.160m，字节数：9299120，样本数量：581195 - 名称：memories.deduped.410m，字节数：12976624，样本数量：811039 - 名称：pile.deduped.70m，字节数：80000000，样本数量：5000000 - 名称：pile.deduped.160m，字节数：80000000，样本数量：5000000 - 名称：pile.deduped.410m，字节数：80000000，样本数量：5000000 - 名称：memories.deduped.6.9b，字节数：26884704，样本数量：1680294 - 名称：pile.deduped.6.9b，字节数：80000000，样本数量：5000000 - 名称：pile.deduped.12b，字节数：80000000，样本数量：5000000 - 名称：memories.deduped.2.8b，字节数：21683376，样本数量：1355211 - 名称：pile.deduped.2.8b，字节数：80000000，样本数量：5000000 - 名称：memories.deduped.1.4b，字节数：16769552，样本数量：1048097 - 名称：memories.deduped.1b，字节数：16525840，样本数量：1032865 - 名称：pile.deduped.1.4b，字节数：80000000，样本数量：5000000 - 名称：pile.deduped.1b，字节数：80000000，样本数量：5000000 下载总大小：1891778367 字节数据集总大小：1595577216 字节 # “pythia-semantic-memorization-perplexities” 数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

提供机构：

Kyle1668

原始信息汇总

数据集概述

数据集配置

config_name: default
data_files: 包含多个子集，每个子集有不同的文件路径和大小，如memories.deduped.12b, memories.duped.12b等。

数据集信息

features:
- name: index, prompt_perplexity, generation_perplexity, sequence_perplexity
- dtype: int32, float32, float32, float32
splits:
- name: 多个子集名称，如memories.deduped.12b, memories.duped.12b等。
- num_bytes: 各子集的字节数，例如memories.deduped.12b为29939456字节。
- num_examples: 各子集的示例数，例如memories.deduped.12b有1871216个示例。
download_size: 1891778367
dataset_size: 1595577216

搜集汇总

数据集介绍

构建方式

该数据集基于Pythia模型家族在The Pile语料上的训练过程构建，旨在量化模型对训练文本的语义记忆程度。通过提取模型在生成特定序列时的困惑度（perplexity）指标，数据集记录了prompt_perplexity、generation_perplexity和sequence_perplexity三个关键特征。数据按模型规模（70m至12b参数）和去重状态（deduped与duped）划分为多个子集，每个子集均对应模型在特定规模下对记忆性或非记忆性文本的困惑度分布，从而系统性地刻画模型记忆行为的规模效应与数据重复性影响。

特点

该数据集的核心特点在于其多维度的困惑度指标设计，能够同时捕捉模型在提示阶段、生成阶段及整体序列上的语义记忆强度。数据集覆盖了从70m到12b共八种参数规模的Pythia模型，并区分了去重与未去重两种训练数据条件，使得研究者可以深入分析模型容量与数据冗余如何交互影响记忆行为。每个子集包含数十万至数百万条记录，总样本量超过一亿，为统计分析与可重复研究提供了坚实的数据基础。

使用方法

用户可通过Hugging Face Datasets库加载该数据集，指定所需的配置名称（如memories.deduped.12b）来访问特定子集。每个样本包含整数索引与三个浮点型困惑度值，可直接用于计算模型记忆的统计分布或训练分类器。数据集适用于比较不同规模模型的记忆倾向、评估去重策略对记忆抑制的效果，以及作为基准测试验证新提出的记忆量化方法。建议研究者根据自身模型规模与数据条件选择合适的子集进行实验。

背景与挑战

背景概述

在大规模语言模型（LLM）的迅猛发展中，模型对训练数据的记忆行为——尤其是语义层面的记忆与泛化边界——成为理解其能力与风险的核心议题。Kyle1668/pythia-semantic-memorization-perplexities数据集由研究人员基于Pythia模型系列构建，旨在量化不同规模模型（从70M到12B参数）在重复与去重数据上的语义记忆程度。该数据集通过计算提示困惑度、生成困惑度与序列困惑度等指标，系统性地刻画了模型对训练样本的忠实复现倾向。其核心研究问题聚焦于模型规模、数据重复性与记忆行为之间的内在关联，为揭示语言模型过度记忆的机制提供了关键的量化工具，对提升模型泛化能力与缓解隐私泄露风险具有深远影响。

当前挑战

该数据集所应对的领域挑战在于，大规模语言模型可能对训练数据中的罕见或重复片段产生过度记忆，导致其在生成任务中表现出复制而非泛化的行为，进而引发隐私泄露与版权争议。构建过程中面临的挑战尤为突出：首先，需从Pythia系列模型（涵盖9种不同规模）中提取海量生成样本，并确保各规模模型在统一评估框架下的可比性；其次，需精确区分“记忆”与“泛化”的边界，通过设计合理的困惑度指标来量化语义层面的复现程度；此外，数据集的划分需同时包含重复（duped）与去重（deduped）版本，以对比数据冗余对记忆行为的影响，这要求对原始训练语料进行复杂的预处理与匹配操作。

常用场景

经典使用场景

在大规模语言模型的可解释性与安全性研究中，Kyle1668/pythia-semantic-memorization-perplexities 数据集作为衡量模型记忆化程度的标准化工具，被广泛用于评估模型对训练数据的逐词记忆倾向。该数据集通过提供不同规模Pythia模型在重复与去重子集上的困惑度指标，为研究者揭示模型内部记忆机制提供了量化基准。其经典使用场景聚焦于对比模型在不同参数规模下对数据重复性的敏感性，进而剖析语言模型泛化能力与记忆行为之间的微妙平衡。

衍生相关工作

该数据集衍生了一系列探讨语言模型记忆化本质的经典工作。例如，研究者利用其困惑度指标验证了数据重复次数与记忆强度之间的正相关关系，并据此提出了基于困惑度阈值的记忆检测方法。另有工作在此基础上深入分析了模型规模对记忆行为的影响，揭示了大规模模型更易记忆罕见序列的现象。这些研究共同将数据集转化为理论验证的基石，催生了关于模型记忆化与泛化权衡的量化分析框架。

数据集最近研究