skandermoalla/qrpo-paper-llama-sft-magpieair-armorm-temp1-ref50-offpolicy2best-armorm

---
license: mit
tags:
- reinforcement-learning
- alignment
- qrpo
---

# qrpo-paper-llama-sft-magpieair-armorm-temp1-ref50-offpolicy2best-armorm

Dataset with reference completions and rewards for a specific model and reward model, ready for training with the **QRPO reference codebase** (https://github.com/CLAIRE-Labo/quantile-reward-policy-optimization).

Part of the dataset collection for the paper **Quantile Reward Policy Optimization: Alignment with Pointwise Regression and Exact Partition Functions** (https://arxiv.org/pdf/2507.08068).

许可证：MIT协议
标签：
- 强化学习（reinforcement-learning）
- 对齐（alignment）
- QRPO（Quantile Reward Policy Optimization）

# QRPO论文配套Llama监督微调（Supervised Fine-Tuning, SFT）数据集：MagpieAIR-ARMORM（温度系数1、参考样本数50、离线策略2最优版）

本数据集包含特定模型与奖励模型的参考补全结果及奖励评分，可直接用于**QRPO参考代码库**（https://github.com/CLAIRE-Labo/quantile-reward-policy-optimization）的模型训练。

本数据集属于论文**《分位数奖励策略优化：基于逐点回归与精确配分函数的对齐方法》**（https://arxiv.org/pdf/2507.08068）的配套数据集集合之一。