polaris-evals
收藏资源简介：
该数据集是Polaris-full强化学习（RL）检查点的pass@k评估结果，用于研究重放缓冲区新鲜度对RL遗忘的影响（RL-Forgetting-Exp实验）。数据集包含在以800个采样提示构成的Polaris-full测试集上评估的原始每分片summary.json结果、生成的图表以及复现代码。评估覆盖两种基础模型：Qwen2.5-3B和Qwen3-1.7B，每种模型具有三种重放缓冲区配置（无缓冲区nobuf、硬余弦衰减λ=0.1和λ=0.01）。检查点从第100步开始，每100个全局步评估一次。评估配置包括：每个提示采样256个样本，报告k∈{1,2,4,8,16,32,64,128,256}的pass@k，温度0.6，top_p 0.95，top_k -1，最大新token 3072，最大提示长度1024，评分器使用math_verify.compute_score，采用8个分片（每个分片100个提示）。数据以分片方式存储，并包含用于复现图表和评估的脚本。
This dataset contains the pass@k evaluation results of Polaris-full reinforcement learning (RL) checkpoints, used to study the impact of replay buffer freshness on RL forgetting (RL-Forgetting-Exp experiment). It includes the original per-shard summary.json results evaluated on the Polaris-full test set consisting of 800 sampled prompts, generated figures, and reproduction code. The evaluation covers two base models: Qwen2.5-3B and Qwen3-1.7B, each with three replay buffer configurations (no buffer nobuf, hard cosine decay λ=0.1 and λ=0.01). Checkpoints are evaluated every 100 global steps starting from step 100. Evaluation configuration: 256 samples per prompt, reporting pass@k for k∈{1,2,4,8,16,32,64,128,256}, temperature 0.6, top_p 0.95, top_k -1, max new tokens 3072, max prompt length 1024, scorer using math_verify.compute_score, with 8 shards (100 prompts each). Data is stored in shards and includes scripts for reproducing figures and evaluation.
Polaris-full RL pass@k 评估数据集
概述
该数据集包含 Polaris-full 预留测试集（800个抽样提示）上强化学习（RL）检查点的 pass@k 评估结果，用于 RL-Forgetting-Exp 研究中重放缓冲区新鲜度的分析。数据包含原始的分片 summary.json 结果、可视化图表以及复现评估和图表的代码。
实验设置
模型与配置
| 基础模型 | 重放缓冲区配置 |
|---|---|
q25_3b（Qwen2.5-3B） |
nobuf、hardcd_lam0p1（λ0.1）、hardcd_lam0p01（λ0.01） |
q3_1p7b（Qwen3-1.7B） |
nobuf、hardcd_lam0p1（λ0.1）、hardcd_lam0p01（λ0.01） |
检查点每100个RL全局步（从第100步开始）评估一次。
评估配置
| 参数 | 值 |
|---|---|
| 测试集 | polaris_53k_full 抽样测试划分（800个提示） |
| 每个提示的样本数（N） | 256 |
| pass@k 报告值 | k ∈ {1, 2, 4, 8, 16, 32, 64, 128, 256} |
| 温度 | 0.6 |
| top_p | 0.95 |
| top_k | -1 |
| 最大生成长度 | 3072 tokens |
| 最大提示长度 | 1024 tokens |
| 评分器 | verl math_verify.compute_score |
| 分片方式 | 8个交叉分片（iloc[shard::8]，每片100个提示） |
pass@k 为每个提示的平均值，报告值按 num_prompts 加权平均8个分片的结果。
数据布局
- 主要结果：
summaries/eval_polaris_testset_0819/目录下，按运行和检查点步骤组织，每个分片包含summary.json文件 - 增量结果：
q25_3b_nobuf后续检查点（步骤1200-1400）位于summaries/eval_polaris_newckpts_hd_0820/，来自恢复运行，布局相同 - 图表：
plots/目录包含两个模型的 pass@k 随步骤变化图 - 代码：
code/目录包含评估器、绘图脚本、分片驱动脚本、FSDP转HF转换脚本、YAML配置生成脚本及任务提交配置
复现方法
运行 python code/plot_polaris_passk.py --root summaries --output_dir plots 即可从摘要文件生成图表。不足8个分片的数据点以灰色 x 标记（快照时部分评估分片仍在运行）。
