pietrolesci/pythia-memorisation-profiles

该数据集是一个包含不同配置的数据集，每个配置包含群体编号、基础期、时间、效应值、标准误差、置信区间下限、置信区间上限、是否包含零值、模型大小和统计量等特征。数据集分为序列惊讶度、序列熵、平均排名和标记准确度四个部分，每个部分包含不同的数据示例和字节数。

The dataset consists of different configurations, each containing features such as cohort, base period, time, effect size (ATT), standard error, lower bound of confidence interval, upper bound of confidence interval, whether zero is included, model size, and statistic. The dataset is divided into four parts: sequence surprisal, sequence entropy, average rank, and token accuracy, each with different numbers of data examples and byte sizes.

原始信息汇总

数据集概述

数据集配置

配置名称：aggregation_cohort

• 特征：
  • cohort: int64
  • base_period: int64
  • time: int64
  • ATT: float64
  • std_error: float64
  • lower: float64
  • upper: float64
  • zero_not_in_cband: string
  • model_size: string
  • stat: string
• 分割：
  • sequence_surprisal: 12846809 bytes, 143143 examples
  • sequence_entropy: 10756208 bytes, 122694 examples
  • average_rank: 10266943 bytes, 122694 examples
  • token_accuracy: 12270334 bytes, 143143 examples
• 下载大小：21917713 bytes
• 数据集大小：46140294 bytes

配置名称：aggregation_event

• 特征：
  • cohort: int64
  • base_period: int64
  • time: int64
  • ATT: float64
  • std_error: float64
  • lower: float64
  • upper: float64
  • zero_not_in_cband: string
  • model_size: string
  • stat: string
• 分割：
  • sequence_surprisal: 12846809 bytes, 143143 examples
  • sequence_entropy: 10756208 bytes, 122694 examples
  • average_rank: 10266943 bytes, 122694 examples
  • token_accuracy: 12270334 bytes, 143143 examples
• 下载大小：21917713 bytes
• 数据集大小：46140294 bytes

配置名称：aggregation_time

• 特征：
  • cohort: int64
  • base_period: int64
  • time: int64
  • ATT: float64
  • std_error: float64
  • lower: float64
  • upper: float64
  • zero_not_in_cband: string
  • model_size: string
  • stat: string
• 分割：
  • sequence_surprisal: 12846809 bytes, 143143 examples
  • sequence_entropy: 10756208 bytes, 122694 examples
  • average_rank: 10266943 bytes, 122694 examples
  • token_accuracy: 12270334 bytes, 143143 examples
• 下载大小：21917713 bytes
• 数据集大小：46140294 bytes

配置名称：default

• 特征：
  • cohort: int64
  • base_period: int64
  • time: int64
  • ATT: float64
  • std_error: float64
  • lower: float64
  • upper: float64
  • zero_not_in_cband: string
  • model_size: string
  • stat: string
• 分割：
  • sequence_surprisal: 12846809 bytes, 143143 examples
  • sequence_entropy: 10756208 bytes, 122694 examples
  • average_rank: 10266943 bytes, 122694 examples
  • token_accuracy: 12270334 bytes, 143143 examples
• 下载大小：21917713 bytes
• 数据集大小：46140294 bytes

数据文件路径

配置名称：aggregation_cohort

• sequence_surprisal: aggregation_cohort/sequence_surprisal-*
• sequence_entropy: aggregation_cohort/sequence_entropy-*
• average_rank: aggregation_cohort/average_rank-*
• token_accuracy: aggregation_cohort/token_accuracy-*

配置名称：aggregation_event

• sequence_surprisal: aggregation_event/sequence_surprisal-*
• sequence_entropy: aggregation_event/sequence_entropy-*
• average_rank: aggregation_event/average_rank-*
• token_accuracy: aggregation_event/token_accuracy-*

配置名称：aggregation_time

• sequence_surprisal: aggregation_time/sequence_surprisal-*
• sequence_entropy: aggregation_time/sequence_entropy-*
• average_rank: aggregation_time/average_rank-*
• token_accuracy: aggregation_time/token_accuracy-*

配置名称：default

• sequence_surprisal: data/sequence_surprisal-*
• sequence_entropy: data/sequence_entropy-*
• average_rank: data/average_rank-*
• token_accuracy: data/token_accuracy-*

搜集汇总

数据集介绍

构建方式

在大型语言模型记忆化行为的研究中，pietrolesci/pythia-memorisation-profiles数据集作为Lesci等人（2024）关于记忆化剖面因果估计论文的产物而诞生。该数据集基于Pythia模型系列，通过因果推断框架系统性地构建了多个聚合配置，包括aggregation_cohort、aggregation_event、aggregation_time及default。每个配置均包含序列惊异度、序列熵、平均排名和令牌准确率四个数据分割，共计超过14万个样本。数据结构以队列、基期、时间等关键变量为核心，辅以平均处理效应、标准误差及置信区间等统计量，为量化模型记忆化程度提供了严谨的实证基础。

特点

该数据集的核心特征在于其多维度的统计聚合设计，能够从不同分析层面揭示语言模型的记忆化模式。每个配置均包含序列惊异度、序列熵、平均排名和令牌准确率四个互补性指标，分别从概率分布、信息论和分类性能等角度刻画记忆化特征。数据集中还提供了平均处理效应及其置信区间，使得研究者能够评估不同模型规模下记忆化效应的统计显著性。此外，通过zero_not_in_cband字段标识置信区间是否包含零，进一步增强了推断的可靠性。

使用方法

研究者可通过HuggingFace Datasets库便捷地加载该数据集，根据分析需求选择不同的配置名称，如aggregation_cohort用于分析队列效应，aggregation_event用于事件层面的考察。每个配置下包含四个独立的数据分割，用户可根据具体研究目标选用序列惊异度、序列熵、平均排名或令牌准确率数据。数据集中的统计量字段如ATT、std_error、lower和upper，适用于进行元分析或效应量比较，而model_size字段则支持跨模型规模的对比研究。

背景与挑战

背景概述

在大型语言模型（LLM）的快速发展中，模型对训练数据的记忆化现象引发了关于隐私、公平性与泛化能力的深刻讨论。pietrolesci/pythia-memorisation-profiles数据集由Lesci等人于2024年创建，作为其论文《Causal Estimation of Memorisation Profiles》的衍生成果，旨在系统性地量化与分析语言模型在不同训练阶段的记忆行为。该数据集基于Pythia模型系列，通过因果推断框架，提供了跨模型规模、时间窗口与统计指标的记忆化剖面，为理解模型如何从训练数据中捕获并复现特定序列提供了标准化评估工具。其核心研究问题聚焦于模型记忆的动态演化与因果机制，对可解释AI与数据隐私保护领域具有重要推动作用。

当前挑战

该数据集面临的挑战主要来自两方面。在领域问题层面，现有记忆化度量方法（如困惑度、秩平均等）难以区分模型对训练数据的真正记忆与语言规律性的偶然复现，而因果估计的引入虽提升了精确性，但计算复杂度与统计显著性检验仍限制其在大规模模型上的应用。在构建过程中，数据集需处理Pythia系列不同规模模型（从数百万到数十亿参数）在多个训练检查点上的海量序列数据，确保跨配置的指标可比性；同时，聚合变体（按时间、事件或队列分组）的设计需兼顾统计效力与数据结构的一致性，以避免因分组策略差异导致的偏差或信息丢失。

常用场景

经典使用场景

在大型语言模型的可解释性与安全性研究中，pietrolesci/pythia-memorisation-profiles数据集被广泛用于量化模型对训练数据的记忆程度。通过提供序列惊奇度、序列熵、平均排名和令牌准确率等多维度统计指标，研究者能够系统性地评估不同规模Pythia模型在训练过程中对特定样本的记忆动态。该数据集的核心价值在于将记忆行为分解为时间、事件和队列三种聚合视角，从而支持因果推断框架下的记忆效应分析，为理解模型过拟合与泛化边界提供了精细化的量化工具。

衍生相关工作

该数据集衍生了一系列开创性研究，包括Lesci等人提出的因果记忆剖面估计框架，以及后续基于该数据集的记忆归因分析工作。研究者利用其多维度统计信息，开发了记忆影响因子量化模型，并进一步探索了记忆与模型规模、训练数据分布之间的非线性关系。此外，该数据集还催生了针对记忆擦除技术的评估基准，推动了一系列关于机器遗忘与持续学习的实证研究，形成了从记忆测量到记忆干预的完整研究链条。

数据集最近研究

最新研究方向

基于因果推断框架的大语言模型记忆化特征量化分析。当前研究前沿聚焦于如何精准评估语言模型在训练过程中对特定数据的记忆程度，这一方向与模型安全性、隐私泄露及泛化能力等热点议题紧密交织。该数据集通过引入群组、事件与时间三种聚合视角，结合序列惊异度、熵值、平均排名及令牌准确率等多维统计指标，构建了结构化记忆化剖面。其核心价值在于为理解模型从数据复制到语义泛化的连续谱系提供了因果推断工具，推动了可解释AI在记忆化机制上的实证探索，对设计更鲁棒、更少隐私风险的下一代语言模型具有深远意义。