W-61/llama-3-8b-base-new-dpo-hh-helpful-4xh200-batch-64-s_star-0.4-eta-0.1-q_t-0.43-margin-log

该数据集是从一个New-DPO训练运行中导出的每步边缘摘要统计信息。数据集包含多个特征，如epoch、step、batch_size、mean、std、min、p10、median、p90、max、pos_frac、sample和npy。数据集的分割为train，包含681个例子。源运行信息包括模型仓库ID、基础模型、训练运行名称、W&B项目、训练器类型、边缘日志路径等。边缘训练参数包括beta、f_divergence_type、f_alpha_divergence_coef、s_star、eta和q_t。数据集混合器使用了Anthropic/hh-rlhf数据集，比例为1.0。--- 配置项： - 配置名称：default 数据文件： - 划分：train（训练集） 路径：data/train-* 数据集信息： 特征： - 名称：epoch（训练轮次），数据类型：float64 - 名称：step（训练步数），数据类型：int64 - 名称：batch_size（批次大小），数据类型：int64 - 名称：mean（均值），数据类型：float64 - 名称：std（标准差），数据类型：float64 - 名称：min（最小值），数据类型：float64 - 名称：p10（10%分位数），数据类型：float64 - 名称：median（中位数），数据类型：float64 - 名称：p90（90%分位数），数据类型：float64 - 名称：max（最大值），数据类型：float64 - 名称：pos_frac（正样本占比），数据类型：float64 - 名称：sample（序列类型，元素为float64） - 名称：npy（数据类型：字符串） 数据集划分： - 名称：train（训练集），字节占用：497130，样本数量：681 下载大小：406893，数据集总大小：497130 --- # W-61/llama-3-8b-base-new-dpo-hh-helpful-4xh200-batch-64-s_star-0.4-eta-0.1-q_t-0.43-margin-log 本数据集为从New-DPO（Direct Preference Optimization，直接偏好优化）训练流程中导出的逐步边际统计摘要。 ## 源运行参数 - 模型仓库ID：`W-61/llama-3-8b-base-new-dpo-hh-helpful-4xh200-batch-64-s_star-0.4-eta-0.1-q_t-0.43` - 基础模型：`W-61/llama-3-8b-base-sft-hh-helpful-4xh200`（其中SFT为Supervised Fine-Tuning，监督微调） - 训练运行名称：`llama-3-8b-base-new-dpo-hh-helpful-4xh200-batch-64-s_star-0.4-eta-0.1-q_t-0.43` - Weights & Biases (W&B) 项目：`llama3-hh-new-dpo-hyperparamter-sweep` - 训练器类型：`new_dpo` - 边际日志路径：`margin_outputs/llama-3-8b-base-new-dpo-hh-helpful-4xh200-batch-64-s_star-0.4-eta-0.1-q_t-0.43/margin_logs` - 边际日志记录间隔步数：`1` - 完整边际数组保存开关：`True` - 发布数据集划分：`train`（训练集） - 样本总数：`681` ## 边际训练参数 - β（beta）：`0.1` - f散度类型：`reverse_kl`（反向KL散度） - fα散度系数：`1.0` - s*（s_star）：`0.4` - η（eta）：`0.1` - q_t（目标q值，q_target）：`0.43` ## 字段说明 - `epoch`：训练轮次 - `step`：训练步数 - `batch_size`：训练批次大小 - `mean`：统计均值 - `std`：统计标准差 - `min`：统计最小值 - `p10`：10%分位数 - `median`：统计中位数 - `p90`：90%分位数 - `max`：统计最大值 - `pos_frac`：正样本占比 - `sample`：当前日志步数下有效批次的逐示例边际值 - `npy`：当开启`margin_save_full=true`时，保存的完整边际数组的可选路径 ## 数据集混合配置 json { "Anthropic/hh-rlhf": 1.0 }