pietrolesci/pythia-deduped-stats-raw

该数据集是通过使用Pythia去重版本的所有中间检查点（step0, step1000, ..., step143k）计算的数据统计集合。文件夹中包含了研究中每个模型大小的模型评估（或“统计”），这是“原始”版本，其中包含在token级别的统计数据。这些统计数据是在推理过程昂贵的情况下收集的，以防万一。同时，提供了序列级别的统计数据在`pietrolesci/pythia-deduped-stats`数据集中。This dataset contains data statistics computed using the intermediate checkpoints of all Pythia deduped versions, including raw token-level statistics for each model size. Additionally, sequence-level statistics are provided in the `pietrolesci/pythia-deduped-stats` dataset.