HPDv3++

HPDv3++是由研究团队构建的大规模双维度偏好数据集，旨在扩展文本到图像生成模型的偏好监督范围。该数据集包含约21.2万条标注数据，基于18.5万个多样化提示词，通过前沿的Qwen-Image模型生成了超过110万张候选图像，并涵盖了20多种场景以确保分布平衡。数据创建过程采用人工标注结合自动双重投票质量控制机制，分别沿文本跟随忠实度和美学质量两个互补维度进行精细标注，有效过滤了噪声样本。该数据集主要应用于强化学习人类反馈领域，旨在为奖励模型提供更细粒度的监督信号，解决现有模型在应对不同能力级别生成模型及其强化学习迭代分布变化时的泛化不足问题。HPDv3++ is a large-scale dual-dimensional preference dataset developed by a research team, with the goal of expanding the scope of preference supervision for text-to-image generation models. This dataset contains approximately 212,000 annotated samples, sourced from 185,000 diverse prompts, and over 1.1 million candidate images were generated using the state-of-the-art Qwen-Image model. To ensure balanced data distribution, the dataset covers more than 20 distinct scenarios. The dataset creation process integrates manual annotation with an automatic double-voting quality control mechanism, conducting fine-grained annotation along two complementary dimensions: text alignment faithfulness and aesthetic quality, which effectively filters out noisy samples. Primarily applied in the domain of reinforcement learning from human feedback (RLHF), this dataset aims to provide finer-grained supervision signals for reward models, thereby addressing the insufficient generalization issue of existing models when confronted with generation models of varying capability levels and distribution shifts during reinforcement learning iterations.

原始信息汇总

数据集概述：HPDv3++

HPDv3++ 是一个面向文本到图像（T2I）生成任务的偏好数据集，由 HPSv3++（一种能力感知和强化学习迭代感知的奖励模型）项目发布。该数据集旨在覆盖不同生成能力与不同强化学习优化阶段的生成器，为奖励模型提供校准后的偏好评分。

数据集构建

• 基础生成器：基于前沿生成器 Qwen-Image 构建。
• 标注维度：沿文本跟随（Text-Following, TF） 和美学（Aesthetic, Aes） 两个质量维度进行偏好标注。
• 数据规模：
  • 从 185K 个过滤后的提示词（prompts）与超过 110 万张候选图像中生成。
  • 由 30 多位人类标注员执行“2-of-6”选择（从6张图像中选出2张），随后经过双重投票验证（VLM 判断器和 RM 判断器）。
• 最终结果：约 212K 个偏好对，其中：
  • 文本跟随（TF）偏好对：95K
  • 美学（Aes）偏好对：117K
• 覆盖范围：数据集涵盖了不同能力的生成器以及多个强化学习优化迭代阶段的输出。

数据集特点

• 双轴标注：同时关注文本跟随与美学质量，提供细粒度的偏好信号。
• 能力与迭代感知：数据集的构建支持奖励模型对生成器的能力差异和优化阶段进行条件性学习。

数据集用途

• 奖励模型训练：用于训练 HPSv3++ 奖励模型，该模型通过两阶段训练（阶段1：正交梯度下降的持续学习；阶段2：基于 FiLM 条件化的半监督自适应训练）提升偏好预测性能。
• 性能验证：该数据集被用于评估 HPSv3++ 在多个基准（如 HPDv3、GenAI-Bench 及本数据集自身）上的偏好预测准确率，并在文本跟随和美学两个维度上展示了领先性能（分别为 88.1% 和 79.1%）。

发布状态

• 数据集：即将发布，计划在论文被接收后完全开源。
• 当前状态：论文已发布，代码、数据集和模型权重尚未开放。

搜集汇总

数据集介绍

构建方式

在文本到图像生成领域，随着扩散模型能力的快速演进，现有偏好数据集多基于较早的生成模型构建，难以覆盖前沿模型的分布特征。为此，HPDv3++数据集应运而生，旨在为奖励模型提供更广泛、更细粒度的偏好监督信号。该数据集从185K个多样化提示出发，利用前沿高性能模型Qwen-Image为每个提示生成六张候选图像，构建超过110万张候选图像池。随后，邀请30余名标注员从文本跟随保真度和美学质量两个互补维度进行成对比较，并通过标注组组长审查与技术团队抽样复核确保标注质量。最后，引入基于VLM和RM的双裁判自动校验机制，仅在两个自动评判均与人工标注不一致时才剔除样本，最终保留约95K文本跟随对与117K美学对，总计约212K偏好对，覆盖20余种场景类别，有效拓展了偏好数据集在前沿生成模型分布上的覆盖范围。

使用方法

HPDv3++数据集在HPSv3++奖励模型的训练框架中发挥着关键作用，其使用方法贯穿两阶段训练流程。在阶段一的持续学习中，该数据集与原始HPDv3训练集共同驱动正交梯度下降算法，其新数据集梯度与参考数据集梯度通过内积判断兼容性：当两者方向一致时直接应用新梯度，否则将新梯度投影到参考梯度的正交补空间上，以此在吸收前沿生成模型分布偏好的同时保留原始偏好知识，有效缓解灾难性遗忘。在阶段二的半监督自适应训练中，数据集的美学子集被用作有标签监督数据，与无标签滚动数据交替批次训练，其有标签批次上的损失函数与阶段一保持一致，无标签批次则联合优化排序损失、标准差提升损失及自适应比率约束损失，最终实现奖励模型在模型能力与强化学习迭代双维度上的动态校准。

背景与挑战

背景概述

HPDv3++是由清华大学、京东探索研究院、北京大学和浙江大学等机构的Yijun Liu、Jie Huang、Zeyue Xue等研究人员于2026年发布的212K规模双维度偏好数据集，旨在解决文本到图像生成中奖励模型因生成模型能力演进和强化学习迭代而导致的评分失效问题。该数据集基于前沿生成模型Qwen-Image构建，涵盖185K多样化提示和超过110万张候选图像，并首次同时针对文本跟随保真度和美学质量进行人工标注。通过平衡20余种场景分布并采用双重自动验证机制确保标签质量，HPDv3++为HPSv3++奖励模型（在HPDv3上实现9.8%提升，并在GenAI-Bench上达到5.5%改进）提供了关键训练基础，推动了奖励模型在全能力-迭代谱系中的泛化能力，对文本到图像生成评估与强化学习优化领域产生了重要影响。

当前挑战

该数据集所解决的领域挑战主要源于现有奖励模型如HPSv3受限于历史生成数据分布，难以适应模型能力提升带来的质量判别偏移和强化学习迭代造成的分布漂移。具体而言，挑战包括：1) 输出图像视觉质量和偏好特征随扩散模型从早期版本到前沿模型发生显著演变，静态奖励模型无法对跨度较大的生成能力谱系给出可靠的偏好预测评分；2) 强化学习优化过程中T2I模型的滚动输出分布不断变化，基于优化前数据训练的奖励模型在各迭代阶段逐渐丧失质量区分能力，导致分数崩溃或奖励操控。此外，数据集构建过程中面临大规模人类偏好标注的主观性噪声、多维度偏好分解的复杂性、以及平衡超过20类场景分布以确保标注覆盖广泛性的困难，数据集通过双维度注释、结构化标注协议和双重自动质量审核机制（结合VLM和RM评判器）来应对这些挑战。

常用场景

经典使用场景

在文本到图像生成领域，HPDv3++数据集最为经典的使用场景是作为奖励模型的训练与评估基石。该数据集专为前沿高能力文本到图像模型（如Qwen-Image）生成的图像而构建，涵盖了超过20种场景的185K条提示和超过110万张候选图像，并沿文本遵循保真度和美学质量两个互补维度进行了精细的人工偏好标注。研究者利用HPDv3++对奖励模型进行微调，使其能够更准确地对齐人类偏好，尤其擅长区分源自同一高性能生成模型的多张图像之间的细微质量差异，从而在偏好预测任务中达到顶尖水准。

解决学术问题

HPDv3++解决了现有偏好数据集在高能力生成模型分布下覆盖不足的学术问题。传统数据集多基于较老或能力较弱的生成模型构建，导致奖励模型在评估前沿模型输出时存在评分偏差。HPDv3++通过引入单一前沿模型的多次采样数据，并采用双维度标注策略，为奖励模型提供了更细腻、更贴近下游强化学习场景的监督信号。这显著提升了奖励模型在偏好预测上的泛化能力和准确性，在HPDv3和GenAI-Bench等基准测试中分别实现了9.8%和5.5%的相对提升，推动了奖励模型设计向更高能力谱系拓展。

实际应用

在实际应用中，HPDv3++主要用于增强文本到图像生成系统的强化学习微调流程。通过训练诸如HPSv3++这样的奖励模型，该数据集提供的偏好信号能够指导不同能力等级（如SDXL、FLUX.1-dev、Qwen-Image）的生成模型在强化学习迭代中持续优化输出质量。实验表明，基于HPDv3++训练的奖励模型在指导下游模型进行强化学习时，能够稳定提升GenEval等自动化评估指标，并在人类主观评测中获得77.5%的胜率，有效缓解了传统奖励模型因分布偏移引发的奖励破解问题，使得生成图像在视觉真实感与文本一致性上达到更优水平。

数据集最近研究

最新研究方向

HPDv3++数据集代表了文本到图像生成领域中奖励模型研究的前沿进展，其核心创新在于构建了一个面向前沿生成模型的、包含21.2万对偏好标注的双维数据集。该数据集严格区分了文本遵循保真度与美学质量两个维度，并首次在高端生成模型（如Qwen-Image）的输出分布上提供细粒度监督。这一设计直接回应了当前扩散模型能力快速演进所带来的质量判别分布偏移问题，为强化学习微调中的奖励信号校准提供了更可靠的基准。HPDv3++的发布不仅推动了对生成模型全能力谱系进行统一偏好建模的研究方向，也为解决奖励模型在强化学习迭代过程中的分布漂移与得分崩溃等关键难题奠定了数据基础，对实现更鲁棒、更具泛化性的文本到图像生成系统具有深远意义。

相关研究论文

• HPSv3++: Scaling Reward Models Across the Full Spectrum of Diffusion Model Capabilities

  清华大学; 京东探索研究院; 北京大学; 浙江大学 · 2026年