evaluation-records

MixtureVitae post-training evaluation records 是一个用于复现论文《Strong Post-Training from Permissive, Reasoning-Dominant Pretraining》（NeurIPS 2026）中表格、图形和引用数字的评估记录数据集，许可证为 CC BY 4.0，标签包括 evaluation 和 reproducibility。数据集集中存放该论文背后的评估记录，配套管线 mv-post-train 可将这些记录转换为论文中的表格、图形和引用数字；其 inputs.json 通过 SHA-256 和本仓库 revision 固定每个文件，可用 mvpt fetch-inputs 下载，mvpt build --check 可重建每个生成文件并与 results/ 比较。数据集包含部分公共文件的副本，inputs.json 保留原始来源作为 fallback：R13 和 R13-language 来自 Ali-Elganzory/permissive-llms-artifacts 的 commit 8cc2e51，R14-scores 和 R14-ifeval 来自 laion/mv-posttrain-eval-responses 的 revision e820fb34（R14），S2-0.4b 和 S2-1.7b 来自两个 checkpoint 的模型仓库；论文其余输入是管线仓库中的三个小文件。数据文件包括 Protocol A 记录 R13、R15、R18 至 R22、R24，其每行对应一个 checkpoint、解码 seed、benchmark 和 question，字段包括 model_id、stage、model_group、front_loading、context_length、seed、benchmark、sample_id、correct，部分文件还包含 checkpoint 所属实验；这些记录不含问题或答案文本，Protocol A 使用贪心解码，seed 为 42、1234 和 2025（论文表 11）。R13 为主 Protocol A 记录（105 MB），覆盖 57 个 checkpoints，每个 checkpoint、seed、task、question 一个分数，用于表 1、14、16 至 18、20、21、38（去污染行）和 42（无 masking 行）以及图 2 至 4。R15 为 front-loaded Comma0.1 arm 的 Protocol A 记录（12 MB，6 个 checkpoints），用于表 17、18、20、21 和图 2 至 4。R18 为 100B mixture ablation 的 36 个 checkpoints、无去污染 MV 模型和 0.4B 对比的 Protocol A 记录（61 MB），用于表 35、37、38（无去污染行）和 40。R19 为四个 masked MV checkpoints 的 Protocol A 记录（9 MB），用于表 42 的 masking 行。R20 为 FineWeb-Edu 16K base 的 Protocol A 记录（2 MB），其 SFT 和 DPO 模型由此训练，用于表 1、14、17、18、20、21 和图 2 至 4。R21 为 Protocol A IFEval strict checker verdicts（34 MB），每个 checkpoint、seed、instruction 一行，覆盖 112 个 checkpoints，包含论文除 DCLM-16K 外的所有 Protocol A IFEval 分数（DCLM-16K 在 R24）。R22 为 Protocol A LiveCodeBench v5 verdicts（17 MB），每个 checkpoint、seed、problem 一行，覆盖 112 个 checkpoints，基于 Phase 2 运行的 369 个 LiveCodeBench v5 问题，包含论文除 DCLM-16K 外的所有 Protocol A LiveCodeBench 分数（DCLM-16K 在 R24）。R24 为 DCLM 16K checkpoints（base、Tulu3 SFT 和 DPO）的 Protocol A 记录（6 MB），同时包含 IFEval verdicts 和 LiveCodeBench v5 verdicts（task LiveCodeBenchv5）以及 v2，用于表 1 和 14 的 DCLM 16K 行。语言评估结果包括 R8、R8-fineweb、R16、R17、R23，均为 LM Evaluation Harness 写出的结果文件，按收到时 zip 保存。R8（2.9 GB）包含 19 个 MV、Comma0.1、Nemotron-CC-HQ checkpoints 的 per-question 文件和三个 prompt-example seeds，用于表 15、17、19、22、30 至 32、39、43 以及图 2 语言面板。R8-fineweb（2.0 GB）为 7 个 FineWeb-Edu checkpoints 的同类结果，用于表 15、17、19、22、30、31 和图 2 语言面板。R16（3 MB）包含 82 个 checkpoints、一个 prompt-example seed、无 per-question 文件的结果，用于表 15、30、36、39、41、43。R17（0.5 MB）包含五个 masked checkpoints 的结果，用于表 43 的 masking 行。R23（3.5 GB）包含 24 个 checkpoints 在 2026-10-26 运行、带 per-question 文件和三个 prompt-example seeds（1234、42、2025）的结果，以及另外 41 个 checkpoints 的单 seed 结果文件（即 R16 的结果），用于 front-loading study 中 R8 未包含的语言单元及其语言对比区间：表 17、19、22 和图 2 语言面板；R23 将每个 checkpoint、task、seed 放在独立文件夹 <checkpoint>/<task>/seed<N>/<checkpoint>/。R13-language（16 kB）为 front-loading study 中无 Comma0.1 的 checkpoints 的每任务语言分数，以及每个任务的 shot count 和 metric，用于表 13 的 shot counts 和 metrics，并作为表 17 和 22 多数语言单元的第二个来源（这些表打印 R8、R8-fineweb 和 R23 的运行）。Phase 2 结果包括 R14-scores、R14-ifeval、R14-meta、R14-lengths。R14-scores（70 kB，parquet）为 R14 的三 seed Phase 2 分数，含所有四种定义下的 IFEval，覆盖论文所有 Phase 2 结果。R14-ifeval（0.2 MB，parquet）为 R14 每个 prompt 和 seed 的 IFEval 计数：instructions，以及 strict 和 loose checker 判定为遵循的数量。R14-meta（2 MB，parquet）为 R14 答案文件 eval_responses.parquet（10 GB，未复制到本仓库）的小列，包括 model、stage、task、question、seed、correctness、checkpoint folder 和 token limit；mvpt fetch-phase2-records 可从 R14 写入同一文件。R14-lengths（6 MB，parquet）每行对应 R14 的一个 Phase 2 答案，但不含文本，包括答案长度以及 grader 是否找到答案和代码块；mvpt measure-phase2-answers 可从 R14 约两小时写入同一文件。快照与配置包括 S1、S2-0.4b、S2-1.7b。S1（snapshots/hf_checkpoints.json，172 kB）是论文评估的每个 checkpoint 的 Hugging Face 记录快照，包含 repos、weight hashes、model cards、training summaries、context settings，拍摄于 2026-10-12 和 2026-10-13，并于 2026-10-31 用 2026-10-30 上传的 Phase 2 checkpoints 更新；它给出每个 checkpoint 在 results manifest 中的 parent。S2-0.4b 和 S2-1.7b（setup/*.config.json，各 1 kB）为 0.4B 和 1.7B MV base models 的 config.json，对应表 5 的架构。旧评估 R6（older/logs_without_gpqa_items.zip，416 MB）为 2026 年 1 月至 5 月旧评估的 LM Evaluation Harness 和 Evalchemy 结果文件，不含 GPQA Diamond items；论文没有表打印它们，但 results manifest 保留。由于 GPQA 要求不公开纯文本条目，而 Evalchemy 保存每个评分项与结果，因此此副本中每个 GPQA item 只保留 GPQA record ID、正确选项字母，以及每次重复中模型答案（如果是字母，否则为空字符串）；分数和其他文件不变，release/records/strip_gpqa.py 可从原始文件写入此副本。结果文件中带 /e/scratch/jureap59/ 的路径是评估运行集群的工作目录。格式方面：Protocol A 记录每行对应一个 checkpoint、解码 seed、benchmark 和 question，字段如上，不含问题或答案文本，采用贪心解码和 seed 42、1234、2025。语言结果按 LM Evaluation Harness 原样 zip；R8、R8-fineweb 和 R23 还包含 per-question 文件，其中有 benchmark 问题和模型答案。旧评估 R6 除 GPQA Diamond 外按原样保存。许可：记录采用 CC BY 4.0；R6、R8、R8-fineweb 和 R23 中的 benchmark 问题保留各自 benchmark 的许可证，其中的模型答案保留生成它们的模型的许可证。版本：随着新运行和 checkpoints 发布，记录会添加到此仓库；管线每个版本固定其读取的 revision，因此论文表格的发布总是指明其背后的确切文件。该数据集适用于复现和检查后训练评估结果、协议 A 逐样本分析、IFEval 与 LiveCodeBench 评估、语言评估、去污染与 masking 消融，以及论文表格和图表的可复现构建。MixtureVitae post-training evaluation records is an evaluation-record dataset for reproducing the tables, figures, and cited numbers in the paper Strong Post-Training from Permissive, Reasoning-Dominant Pretraining (NeurIPS 2026). It is licensed under CC BY 4.0 and tagged evaluation and reproducibility. The dataset stores the evaluation records behind the paper. The companion pipeline mv-post-train converts these records into the paper tables, figures, and cited numbers. inputs.json pins each file by SHA-256 and this repository revision; mvpt fetch-inputs downloads them, and mvpt build --check rebuilds each generated file and compares it with results/. The dataset contains copies of some public files; inputs.json keeps original sources as fallback. Data files include Protocol A records R13, R15, R18 to R22, and R24. Each row corresponds to one checkpoint, decoding seed, benchmark, and question; fields include model_id, stage, model_group, front_loading, context_length, seed, benchmark, sample_id, and correct. These records do not contain question or answer text. Protocol A uses greedy decoding and seeds 42, 1234, and 2025. Language evaluation results include R8, R8-fineweb, R16, R17, and R23, all result files written by LM Evaluation Harness and zipped as received. Phase 2 results include R14-scores, R14-ifeval, R14-meta, and R14-lengths. Snapshots and configurations include S1, S2-0.4b, and S2-1.7b. Older evaluation R6 contains LM Evaluation Harness and Evalchemy result files from older evaluations, without GPQA Diamond items. Records are under CC BY 4.0; benchmark questions and model answers retain their respective licenses. The dataset is suitable for reproducing and checking post-training evaluation results, Protocol A per-sample analysis, IFEval and LiveCodeBench evaluation, language evaluation, decontamination and masking ablations, and reproducible construction of the paper tables and figures.

原始信息汇总

MixtureVitae post-training evaluation records 数据集总结

基本信息

• 数据集地址：https://huggingface.co/datasets/permissive-post-train/evaluation-records
• pretty_name：MixtureVitae post-training evaluation records
• 许可：CC BY 4.0（https://creativecommons.org/licenses/by/4.0/）
• 标签：evaluation、reproducibility
• 内容定位：包含论文 Strong Post-Training from Permissive, Reasoning-Dominant Pretraining（NeurIPS 2026）表格和图形背后的评估记录。

复现与来源

• 管道 mv-post-train：https://github.com/MixtureVitae/mv-post-train。该管道将记录转为论文的表格、图形和引用数字。
• 管道中的 inputs.json 通过 SHA-256 和本仓库 revision 固定每个文件；mvpt fetch-inputs 下载它们。
• 可用 mvpt fetch-inputs 获取论文所有输入；mvpt build --check 重建每个生成文件并与结果目录比较。
• 原始来源 fallback：
  • R13 和 R13-language 来自 Ali-Elganzory/permissive-llms-artifacts（https://github.com/Ali-Elganzory/permissive-llms-artifacts），commit 8cc2e51。
  • R14-scores 和 R14-ifeval 来自 laion/mv-posttrain-eval-responses（https://huggingface.co/datasets/laion/mv-posttrain-eval-responses），revision e820fb34（R14）。
  • S2-0.4b 和 S2-1.7b 来自两个 checkpoint 的模型仓库。
  • 论文唯一其他输入是管道仓库中的一个小文件，其 setup 值。
• 管道仓库的输入文档描述每个输入。
• 文件 ID 是管道输入 ID；表格和图编号对应论文 2026-10-28 revision。

文件清单

以下文件地址均为数据集仓库内文件的绝对地址。

Protocol A 记录

• R13：https://huggingface.co/datasets/permissive-post-train/evaluation-records/blob/main/protocol_a/canonical_reasoning_per_sample.csv；105 MB；SHA-256 867ff6d6782b…；主要 Protocol A 记录：57 个 checkpoints，每个 checkpoint、seed、task 和 question 一个分数。对应 Tables 1、14、16 至 18、20、21、38（其 decontaminated rows）和 42（其 rows without masking），Figures 2 至 4。
• R15：https://huggingface.co/datasets/permissive-post-train/evaluation-records/blob/main/protocol_a/comma_reasoning_unified_per_sample.csv；12 MB；SHA-256 a8e33f163ce4…；front-loaded Comma0.1 arm（六个 checkpoints）的 Protocol A 记录。对应 Tables 17、18、20、21，Figures 2 至 4。
• R18：https://huggingface.co/datasets/permissive-post-train/evaluation-records/blob/main/protocol_a/ablation_decontamination_0_4B_reasoning_per_sample.csv；61 MB；SHA-256 021b81d039ec…；100B mixture ablation 的 36 个 checkpoints、无 decontamination 的 MV 模型和 0.4B comparison 的 Protocol A 记录。对应 Tables 35、37、38（其没有 decontamination 的行）和 40。
• R19：https://huggingface.co/datasets/permissive-post-train/evaluation-records/blob/main/protocol_a/masked_reasoning_per_sample.csv；9 MB；SHA-256 8084115c57e8…；四个 masked MV checkpoints（与 laion/*-masked 模型相同权重的副本）的 Protocol A 记录。对应 Table 42 带有 masking 的行。
• R20：https://huggingface.co/datasets/permissive-post-train/evaluation-records/blob/main/protocol_a/fineweb_edu_16k_april_base_unified_per_sample.csv；2 MB；SHA-256 153341e3f95a…；FineWeb-Edu 16K base 的 Protocol A 记录，其 SFT 和 DPO 模型从此 base 训练。对应 Tables 1、14、17、18、20、21，Figures 2 至 4。
• R21：https://huggingface.co/datasets/permissive-post-train/evaluation-records/blob/main/protocol_a/ifeval_strict_per_sample_protocol_a.csv；34 MB；SHA-256 eac0a09812bc…；使用 strict checker 的 Protocol A IFEval verdicts，每个 checkpoint、seed 和 instruction 一行，112 个 checkpoints。论文中除 DCLM-16K 的每个 Protocol A IFEval 分数，DCLM-16K 的由 R24 保存。
• R22：https://huggingface.co/datasets/permissive-post-train/evaluation-records/blob/main/protocol_a/phase1_livecodebenchv5_per_sample.csv；17 MB；SHA-256 80b2d27da77a…；Protocol A LiveCodeBench v5 verdicts，每个 checkpoint、seed 和 problem 一行，112 个 checkpoints，在 Phase 2 运行的 LiveCodeBench v5 的 369 个问题上。论文中除 DCLM-16K 的每个 Protocol A LiveCodeBench 分数，DCLM-16K 的由 R24 保存。
• R24：https://huggingface.co/datasets/permissive-post-train/evaluation-records/blob/main/protocol_a/dclm_16k_reasoning_evals_per_sample.csv；6 MB；SHA-256 fcb6bd7b79f3…；DCLM 16K checkpoints（base、Tulu3 SFT 和 DPO）的 Protocol A 记录，包含其 IFEval verdicts 和 LiveCodeBench v5 verdicts（任务 LiveCodeBenchv5），与 v2 并列，因为 R21 和 R22 不覆盖它们。DCLM 的 16K 行在 Tables 1 和 14。

语言结果

• R13-language：https://huggingface.co/datasets/permissive-post-train/evaluation-records/blob/main/language/ablation_frontloading_x_permissiveness_language_evaluations.csv；16 kB；SHA-256 e108272f2227…；front-loading 研究 checkpoints 中不含 Comma0.1 的每个任务一个语言分数，以及每个任务的 shot count 和 metric。对应 Table 13 的 shot counts 和 metrics。这些分数是 Tables 17 和 22 大多数语言单元格的第二来源，这些表打印 R8、R8-fineweb 和 R23 的运行。
• R8：https://huggingface.co/datasets/permissive-post-train/evaluation-records/blob/main/language/language_eval-logs.zip；2.9 GB；SHA-256 0492e8a69dd6…；LM Evaluation Harness 结果，含 per-question 文件和三个 prompt-example seeds，用于 MV、Comma0.1 和 Nemotron-CC-HQ 的 19 个 checkpoints。对应 Tables 15、17、19、22、30 至 32、39、43，以及 Figure 2 的语言面板。
• R8-fineweb：https://huggingface.co/datasets/permissive-post-train/evaluation-records/blob/main/language/logs-fineweb.zip；2.0 GB；SHA-256 d940f546b4dc…；同样用于 7 个 FineWeb-Edu checkpoints。对应 Tables 15、17、19、22、30、31，以及 Figure 2 的语言面板。
• R16：https://huggingface.co/datasets/permissive-post-train/evaluation-records/blob/main/language/language_eval_all_models_2026-10-16.zip；3 MB；SHA-256 bb0b7b1a2fc7…；LM Evaluation Harness 结果，82 个 checkpoints，一个 prompt-example seed，无 per-question 文件。对应 Tables 15、30、36、39、41、43。
• R17：https://huggingface.co/datasets/permissive-post-train/evaluation-records/blob/main/language/masked_models_lang_evals.zip；0.5 MB；SHA-256 c53217be762c…；LM Evaluation Harness 结果，五个 masked checkpoints。对应 Table 43 的 masking 行。
• R23：https://huggingface.co/datasets/permissive-post-train/evaluation-records/blob/main/language/language_eval_all_models_3seed_2026-10-26.zip；3.5 GB；SHA-256 1a0422576760…；LM Evaluation Harness 结果，含 per-question 文件和三个 prompt-example seeds（1234、42、2025），24 个 checkpoints，运行于 2026-10-26，以及另外 41 个的单 seed 结果文件，即 R16 的。对应 front-loading 研究中 R8 不持有的语言单元格及其语言对比区间：Tables 17、19、22，以及 Figure 2 的语言面板。

Phase 2 与其他

• R14-scores：https://huggingface.co/datasets/permissive-post-train/evaluation-records/blob/main/phase2/eval_scores.parquet；70 kB；SHA-256 666002c3c4e9…；R14 的三 seed Phase 2 分数，包含四种定义下的 IFEval。对应论文所有 Phase 2 结果。
• R14-ifeval：https://huggingface.co/datasets/permissive-post-train/evaluation-records/blob/main/phase2/ifeval_allmetrics_persample.parquet；0.2 MB；SHA-256 1dd7734ef79a…；R14 的每个 prompt 和 seed 的 IFEval 计数：instructions，以及 strict 和 loose checker 下 followed 的数量。
• R14-meta：https://huggingface.co/datasets/permissive-post-train/evaluation-records/blob/main/phase2/eval_responses_meta.parquet；2 MB；SHA-256 59872f7e7a31…；R14 的答案文件的小列（model、stage、task、question、seed、correctness、checkpoint folder、token limit），该答案文件为 eval_responses.parquet（10 GB），未复制到此。mvpt fetch-phase2-records 从 R14 写同一文件。
• R14-lengths：https://huggingface.co/datasets/permissive-post-train/evaluation-records/blob/main/phase2/answer_lengths.parquet；6 MB；SHA-256 9863758e52d1…；每个 R14 Phase 2 答案一行，不含文本：其长度，以及 grader 是否找到答案和代码块。mvpt measure-phase2-answers 从 R14 写同一文件，约两小时。
• S1：https://huggingface.co/datasets/permissive-post-train/evaluation-records/blob/main/snapshots/hf_checkpoints.json；173 kB；SHA-256 4d4723136230…；论文评估的每个 checkpoint 的 Hugging Face 记录快照（repos、weight hashes、model cards、training summaries、context settings），拍摄于 2026-10-12 和 2026-10-13，更新于 2026-10-31，加入 2026-10-30 上传的 Phase 2 checkpoints 和 HuggingFaceTB 的 SmolLM2-1.7B-Instruct-16k。它给出每个 checkpoint 在结果 manifest 中的 parent。
• S2-0.4b、S2-1.7b：https://huggingface.co/datasets/permissive-post-train/evaluation-records/tree/main/setup；每个 1 kB；SHA-256 24a64d86ef89…、b2d8faeee3c6…；0.4B 和 1.7B MV base models 的 config.json，对应 Table 5 的架构。
• R6：https://huggingface.co/datasets/permissive-post-train/evaluation-records/blob/main/older/logs_without_gpqa_items.zip；416 MB；SHA-256 2f9db28c0e7a…；旧评估的 LM Evaluation Harness 和 Evalchemy 结果文件，2026 年 1 月至 5 月，不含 GPQA Diamond items。论文没有表格打印它们，但结果 manifest 保留它们。

每个文件的完整 SHA-256 在 inputs.json 中，用于校验每次下载。

数据格式

• Protocol A records（R13、R15、R18 至 R22、R24）：每行对应一个 checkpoint、解码 seed、benchmark 和 question。字段包括 model_id, stage, model_group, front_loading, context_length, seed, benchmark, sample_id, correct，部分文件还包含 checkpoint 所属实验。不包含问题或答案文本。Protocol A 是 greedy decoding，seeds 为 42、1234、2025（论文 Table 11）。
• Language results（R8、R8-fineweb、R16、R17、R23）：LM Evaluation Harness 写出的结果文件，按收到时 zip 打包。R8、R8-fineweb 和 R23 还包含 per-question 文件，包含基准问题和模型答案。R23 将每个 checkpoint、任务和 seed 保存在各自文件夹中。
• Older evaluations（R6）：按收到时的结果文件，但 GPQA Diamond 除外。GPQA 要求其条目不以明文发布，Evalchemy 保存每个评分项；因此每个 GPQA 项只保留 GPQA record ID、正确选项字母、以及每次重复中若为字母的模型答案（否则为空字符串）。分数和其他文件不变。管道中的 strip_gpqa.py 从原始写入此副本。
• 结果文件中含 /e/scratch/jureap59/ 的路径是评估运行集群的工作目录。

许可

• 记录采用 CC BY 4.0。
• R6、R8、R8-fineweb 和 R23 中的基准问题保留其基准的许可证；其中的模型答案保留撰写它们的模型的许可证。

版本

• 随着新运行和 checkpoint 发布，记录会添加到此。
• 每个管道版本固定其读取的 revision，因此论文表格发布总是命名其背后的确切文件。

搜集汇总

数据集介绍

构建方式

在可复现评估成为语言模型科学验证核心基础设施的语境中，evaluation-records 围绕 MixtureVitae 后训练评估论文，将表格与图所依据的记录集中整理。其构建依托 mv-post-train 流水线，以 inputs.json 对每个文件实施 SHA-256 与仓库修订版本双重固定，并通过 mvpt fetch-inputs 从本仓库及其他公开来源获取输入。部分文件复制自 permissive-llms-artifacts、laion/mv-posttrain-eval-responses 与模型仓库，保留原源作为回退。记录按输入 ID 组织，覆盖 Protocol A 逐样本评分、语言评估日志、第二阶段分数与检查点快照，最终由 mvpt build --check 重建生成文件并与 results 比对，形成版本可追溯的评估档案。

特点

作为聚焦训练后评测可重复性的聚合数据集，其特点体现在多层次、细粒度与跨来源整合。文件涵盖 57 至 112 个检查点的 Protocol A 记录、六检查点的 Comma0.1 消融、36 检查点的 100B 混合消融、语言评测的 LM Evaluation Harness 结果以及 Phase 2 三种子分数，能够支撑论文表图及置信区间复算。Protocol A 以 checkpoint、seed、benchmark、question 为行，仅保留正确性等元数据而不含题目与答案文本；语言日志部分保留逐题文件；旧评测 R6 对 GPQA Diamond 实施脱敏，仅留记录 ID、正确选项字母与字母答案。全库适用 CC BY 4.0，但题目和模型答案延续各自许可，版本随新运行持续增补并以固定修订保证一致性。

使用方法

面向论文复现、结果审计与二次分析，使用者可先克隆 mv-post-train 流水线，执行 pip install -e . -r requirements-lock.txt 安装依赖，再以 mvpt fetch-inputs 下载本数据集及关联源文件。inputs.json 会校验完整 SHA-256，确保输入与论文表格对应的确切版本一致。随后运行 mvpt build --check，可重建全部生成文件并与 results 目录比对，以验证表图数值。如需 Phase 2 大规模答案文件，可用 mvpt fetch-phase2-records 获取 R14，并以 mvpt measure-phase2-answers 生成答案长度摘要；R14-meta 与 R14-lengths 已提供轻量替代。研究者亦可直接按输入 ID 读取 CSV、Parquet 或压缩日志，开展跨检查点、种子和任务的统计分析。

背景与挑战

背景概述

在开放模型后训练评估日益依赖可复现证据的背景下，evaluation-records（MixtureVitae post-training evaluation records）于2026年随NeurIPS 2026论文《Strong Post-Training from Permissive, Reasoning-Dominant Pretraining》及评估流水线mv-post-train发布。该数据集由MixtureVitae项目联合相关公开资源构建，汇聚论文表格与图示背后的逐样本评分、语言日志、指令遵循与代码基准结果，覆盖MixtureVitae、Comma0.1、FineWeb-Edu、DCLM等众多检查点。其核心研究问题在于验证宽松许可、推理主导预训练后的强后训练成效，并以SHA-256固定输入和版本化发布提升后训练评估的可复现性与跨模型比较透明度。

当前挑战

围绕后训练评估的可复现与公平比较，该数据集面临多重挑战。领域问题层面，后训练评测涵盖异构基准、多种子解码、严格与宽松判定、去污染及基准许可限制，GPQA Diamond等不可公开题目更要求在保留评分证据与保护文本之间平衡。构建过程中，来自LM Evaluation Harness、Evalchemy及不同来源的日志格式不一，需统一检查点、任务、种子与样本标识，处理缺失元数据、旧版结果、路径可移植性与超大文件存储；逐样本记录虽增强可验证性，却引入版本漂移、上游许可证继承和长期维护复杂性。

常用场景

经典使用场景

在大规模语言模型后训练评估日益强调可追溯与可复核的背景下，evaluation-records 将论文《Strong Post-Training from Permissive, Reasoning-Dominant Pretraining》所依赖的 Protocol A 逐样本记录、语言评测结果、Phase 2 评分与检查点快照汇于一处。其经典用法是借助 mv-post-train 流水线，通过 SHA-256 与仓库修订锁定输入，执行 mvpt fetch-inputs 与 mvpt build --check，重建论文中的表格、图形与引用数值。研究者可围绕检查点、解码种子、基准与问题粒度，复现推理、IFEval、LiveCodeBench v5 及多语言评测结果，从而完成评估复算、版本比对与结果溯源。

实际应用

面向模型研发与基准治理的实际需求，该数据集可用于诊断后训练配方在推理、指令遵循、代码生成和多语言能力上的表现差异。工程师可依据检查点、种子和问题级记录比较不同模型族与消融臂，定位去污染、掩码或前置加载对性能的影响；评估平台可将其作为构建可复现评测流水线、管理基准版本与生成模型卡的参照。论文复现者能利用 mvpt 工具重建表格与图形，审计异常结果，并追踪 IFEval、LiveCodeBench 与 LM Evaluation Harness 的原始记录，从而缩短从评估设计到证据交付的周期。

衍生相关工作

该数据集与 MixtureVitae 研究议程紧密相连，直接支撑 mv-post-train 流水线及《Strong Post-Training from Permissive, Reasoning-Dominant Pretraining》的表图复现，并关联 permissive-llms-artifacts、laion/mv-posttrain-eval-responses 等公开制品。LM Evaluation Harness、Evalchemy、IFEval、LiveCodeBench 与 GPQA 等评测框架和基准在其记录中形成方法学脉络，Comma0.1、Nemotron-CC-HQ、DCLM、FineWeb-Edu 及 SmolLM2 等模型则构成被评估对象谱系。这些联系推动后训练评估记录走向标准化、可追溯与可复算，为开放模型评估和推理主导预训练研究提供了可引用的经验基础。