LDS-retrain-bank-adamw-wikitext2-N4656-bs8-seed1005
收藏资源简介：
该数据集是EleutherAI发布的“重训练库”（Retrain bank），具体为使用WikiText-2数据集（4,656个训练文档）和GPT-2模型，在随机种子1005下的100个重训练模型集合。每个模型是在随机选取的50%训练子集（2,328个文档）上微调得到的，另有一个基础模型在完整训练集上微调。数据集包含100个不同子集上的微调模型（retrained/subset_*）、基础模型（retrained/base）、验证集上的ground truth损失变化（validation.csv，包含481个查询的损失变化以及EK-FAC影响总和）、子集文档ID划分（subsets.json）、精确训练配置（config.yaml）以及每查询的EK-FAC LDS汇总文件（summary*.csv）。该数据集旨在支持训练数据归属（training data attribution）研究，特别是通过重训练来评估影响函数等方法的效果。用户可通过提供的Python代码加载数据，并计算其预测影响与真实损失变化之间的相关性（LDS）来评估自己的方法。
This dataset is the Retrain bank released by EleutherAI, consisting of 100 retrained models using the WikiText-2 dataset (4,656 training documents) and GPT-2 model with random seed 1005. Each model is fine-tuned on a randomly selected 50% training subset (2,328 documents), and a base model is fine-tuned on the full training set. The dataset includes fine-tuned models on 100 different subsets (retrained/subset_*), the base model (retrained/base), ground truth loss changes on the validation set (validation.csv with 481 queries loss changes and EK-FAC influence sums), subset document ID splits (subsets.json), exact training configuration (config.yaml), and per-query EK-FAC LDS summary files (summary*.csv). It is designed to support training data attribution research, particularly to evaluate methods like influence functions via retraining. Users can load data with provided Python code and compute the correlation (LDS) between predicted influence and true loss changes to evaluate their own methods.
数据集概述：LDS-retrain-bank-adamw-wikitext2-N4656-bs8-seed1005
基本信息
- 许可证：Apache 2.0
- 标签：训练数据归因、影响函数、可解释性
- 数据集地址：https://huggingface.co/datasets/EleutherAI/LDS-retrain-bank-adamw-wikitext2-N4656-bs8-seed1005
数据集内容
该数据集包含 100 个完全重新训练的语言模型（不仅限于评分），每个模型均为在 WikiText-2 训练集的不同随机 50% 子集（2,328 篇文档） 上微调的 GPT-2 模型。基础模型（retrained/base）在同一随机种子下使用完整训练集训练。
语料来源：WikiText-2 训练集共 4,656 篇文档，验证集包含 481 个查询。该数据集遵循 Bae 等人 2024 年论文（Training Data Attribution via Approximate Unrolled Differentiation，附录 B.1）的实验设置。
数据集结构
| 路径 | 内容 |
|---|---|
retrained/base/ |
在完整训练集上微调的模型 |
retrained/subset_*/ |
100 个模型，每个在不同随机半集上训练 |
validation.csv |
真实标签：每个（子集，查询）对在 481 个验证查询上的损失变化，以及移除文档的 EK-FAC 影响和 |
subsets.json |
每个子集移除的文档 ID |
config.yaml |
精确的训练配置 |
summary*.csv |
每查询的 EK-FAC LDS 值 |
相关数据集
共有 5 个数据集仓库共享相同的 100 个子集（subsets.json），仅训练种子不同，种子分别为 1004、1005、1006、1007 和 1008。对这五个种子的查询损失取平均后，可作为 bergson 复制实验中的真实标签。
训练配置
- 优化器：AdamW（β=(0.9, 0.999)，ε=1e-8）
- 学习率：3e-5（恒定）
- 权重衰减：0.01
- 批量大小：8
- 训练轮数：3
- 精度：FP32
- Dropout：开启
- 随机种子：1005
评估结果（基于五种子真实标签）
| 方法 | LDS（481 个查询的平均 Spearman 相关系数，95% 置信区间） |
|---|---|
| EK-FAC IF | 0.468 ± 0.015 |
| SOURCE | 0.476 ± 0.015 |
评分基于 EleutherAI/bergson-wikitext-2-gpt2 微调运行计算得出。
使用方式
可通过 huggingface_hub 下载数据集，使用 validation.csv 作为真实标签，将自己的方法与 diff 列进行相关性比较，LDS 定义为所有查询上 Spearman 相关系数的均值。
来源与工具
该数据集由 bergson 工具生成，配置文件为 examples/replicate_bae_approx_unrolling_source/wikitext_gpt2_retrain.yaml。
