W-61/llama-3-8b-base-new-dpo-hh-harmless-4xh200-batch-64-q_t-0.45-s_star-0.4-eta-0.3-margin-log

该数据集是从New-DPO训练运行中导出的每一步的边际摘要统计。包含了训练过程中的多个统计特征，如epoch、step、batch_size、mean、std等，以及每个步骤的边际值样本和可选的完整边际数组保存路径。数据集来源于特定的训练运行，使用了特定的模型和训练参数，并且数据混合器使用了Anthropic/hh-rlhf数据集。configs: - config_name: default data_files: - split: train path: data/train-* dataset_info: features: - name: epoch（训练轮次） dtype: float64（双精度64位浮点数） - name: step（训练步数） dtype: int64（64位有符号整数） - name: batch_size（批次大小） dtype: int64 - name: mean（均值） dtype: float64 - name: std（标准差） dtype: float64 - name: min（最小值） dtype: float64 - name: p10（10%分位数） dtype: float64 - name: median（中位数） dtype: float64 - name: p90（90%分位数） dtype: float64 - name: max（最大值） dtype: float64 - name: pos_frac（正样本占比） dtype: float64 - name: sample（样本，序列类型为float64） dtype: sequence: float64 - name: npy（字符串类型） dtype: string splits: - name: train（训练集） num_bytes: 483191 num_examples: 661 download_size: 389249 dataset_size: 483191 --- # W-61/llama-3-8b-base-new-dpo-hh-harmless-4xh200-batch-64-q_t-0.45-s_star-0.4-eta-0.3-margin-log 本数据集包含从New-DPO（直接偏好优化，Direct Preference Optimization）训练流程中导出的逐步边际统计汇总结果。 ## 源训练流程 - 模型仓库ID: `W-61/llama-3-8b-base-new-dpo-hh-harmless-4xh200-batch-64-q_t-0.45-s_star-0.4-eta-0.3` - 基础模型: `W-61/llama-3-8b-base-sft-hh-harmless-4xh200`（其中SFT为监督微调（Supervised Fine-Tuning）） - 训练流程名称: `llama-3-8b-base-new-dpo-hh-harmless-4xh200-batch-64-q_t-0.45-s_star-0.4-eta-0.3` - Weights & Biases（W&B）项目: `llama3-hh-new-dpo-hyperparamter-sweep` - 训练器类型: `new_dpo` - 边际日志路径: `margin_outputs/llama-3-8b-base-new-dpo-hh-harmless-4xh200-batch-64-q_t-0.45-s_star-0.4-eta-0.3/margin_logs` - 边际日志记录间隔: `1`（每1步记录一次） - 完整边际数组保存开关: `True` - 发布数据集拆分: `train`（训练集） - 总样本数: `661` ## 边际训练参数 - beta: `0.1` - f散度类型: `reverse_kl`（反向KL散度） - f_alpha散度系数: `1.0` - s_star: `0.4` - eta: `0.3` - q_t（即q_target）: `0.45` ## 数据列说明 - `epoch`：训练轮次 - `step`：训练步数 - `batch_size`：训练批次大小 - `mean`：统计均值 - `std`：统计标准差 - `min`：统计最小值 - `p10`：10%分位数 - `median`：统计中位数 - `p90`：90%分位数 - `max`：统计最大值 - `pos_frac`：正样本占比 - `sample`：存储该日志步数下有效批次的逐示例边际值 - `npy`：可选路径字段，当`margin_save_full=true`时，指向保存的完整边际数组文件，数据类型为字符串 ## 数据集混合配置 json { "Anthropic/hh-rlhf": 1.0 }