HPDv3++ dataset

HPDv3++数据集是一个基于前沿生成器（Qwen-Image）构建的双轴偏好数据集，沿文本跟随（TF）和美学（Aes）质量进行标注。从185K个过滤提示和超过1.1M个候选图像中，30多名人类标注员进行6选2的选择，然后进行双投票验证（VLM判断和RM判断）。这产生了约212K个偏好对（95K TF + 117K Aes），涵盖了不同能力的生成器和多个RL优化迭代。The HPDv3++ dataset is a dual-axis preference dataset built upon the state-of-the-art generator Qwen-Image, annotated along two dimensions: text following (TF) and aesthetic (Aes) quality. Derived from 185K filtered prompts and over 1.1M candidate images, more than 30 human annotators first completed a 2-out-of-6 selection task, followed by dual-voting validation (VLM-based judgment and RM-based judgment). This yields approximately 212K preference pairs (95K TF + 117K Aes), covering generators with varying capabilities and multiple rounds of RL optimization iterations.

原始信息汇总

数据集名称

HPDv3++ 数据集

数据集简介

HPDv3++ 是一个面向文本到图像（T2I）扩散模型的两轴偏好数据集，用于训练 HPSv3++ 奖励模型。该数据集覆盖了不同能力的生成模型以及不同阶段的强化学习（RL）优化迭代，旨在实现能力感知（Capability-Aware）和 RL 迭代感知（RL-Iteration-Aware）的奖励建模。

数据集构建方法

• 基础生成器：基于前沿生成模型 Qwen-Image 构建。
• 标注维度：沿文本跟随（Text-Following, TF）和美学质量（Aesthetic, Aes）两个质量维度进行标注。
• 图像规模：从 18.5 万条筛选后的提示词和超过 110 万张候选图像中生成。
• 标注过程：由 30 名以上人类标注员执行 2-of-6 选择（从 6 张候选图像中选出 2 张偏好图像），随后通过双重投票验证机制（VLM 评判器和 RM 评判器）进行核实。
• 最终规模：产生约 21.2 万个偏好对（95,000 个文本跟随对 + 117,000 个美学质量对）。

数据集特点

• 覆盖范围广：涵盖不同能力水平的生成模型和多个 RL 优化迭代阶段。
• 两轴标注：同时包含文本跟随和美学质量两个维度的偏好信息。
• 高质量验证：结合人类标注与双模型验证，确保数据可靠性。

数据集用途

用于训练 HPSv3++ 奖励模型。该模型通过持续学习（Orthogonal Gradient Descent, OGD）和半监督自适应训练，将模型能力和 RL 迭代步作为条件进行调制，从而在跨能力跨阶段的生成器上提供校准后的偏好评分。

性能表现

在多个基准测试中，基于 HPDv3++ 训练的 HPSv3++ 模型在成对偏好预测准确率上达到最优或接近最优结果，尤其在 HPDv3、GenAI-Bench、HPDv3++ 自身的美学及文本跟随子集上表现突出。

发布状态

• 论文：已发布。
• 数据集、训练/评估代码、模型权重：计划在论文被接收后完全开源，具体时间待定。

搜集汇总

数据集介绍

构建方式

HPDv3++数据集构建于前沿生成器Qwen-Image之上，沿文本跟随与美学两个维度进行偏好标注。研究团队从18.5万条经过筛选的提示语出发，生成超过110万张候选图像，随后由30余名标注员执行2-of-6选择策略，并辅以视觉语言模型与奖励模型的双重投票验证，最终生成约21.2万个偏好对，涵盖不同能力生成器及多个强化学习优化迭代阶段。

特点

该数据集具备双轴偏好标注结构，兼顾文本对齐与图像美学两个核心品质，能够全面捕获生成器在不同能力水平与优化进程中的表现差异。其大规模人工标注与双模验证机制确保了偏好数据的高可靠性与一致性，为训练能够感知生成器能力与强化学习迭代步数的奖励模型提供了坚实的支撑基础。

使用方法

研究人员可采用该数据集进行奖励模型的两阶段训练：第一阶段通过正交梯度下降进行持续学习，使模型适应前沿生成器；第二阶段则利用标签对与无标签样本的组内标准差进行半监督自适应训练，以FiLM机制将生成器能力与强化学习迭代步数作为条件注入奖励模型，实现校准后的偏好评分。

背景与挑战

背景概述

在文本到图像生成领域，扩散模型的能力呈现显著差异，且强化学习微调过程会导致模型偏好随训练进度动态变化。为此，HPSv3++工作组于2026年提出了一种能力感知与强化学习迭代感知的奖励模型，并配套构建了HPDv3++数据集。该数据集由多位研究者主导，基于前沿生成器Qwen-Image，从18.5万过滤提示词与超过110万候选图像中，经30余名人工标注员进行二选六选择，并辅以视觉语言模型与奖励模型双重验证，最终获得约21.2万偏好对。数据集从文本跟随与美学质量两个维度标注，覆盖不同能力生成器及多阶段强化学习优化迭代，为奖励模型的泛化校准提供了坚实基础，对扩散模型对齐研究具有重要推动作用。

当前挑战

当前领域面临的核心挑战在于：单一奖励模型难以在能力迥异的生成器与不同强化学习优化阶段中输出校准的偏好分数。传统方法无法同时适应生成器能力差异与训练进度变迁，导致模型在低能力生成器上过拟合或在高能力生成器上判别失效。在数据集构建过程中，挑战尤为严峻：需从海量候选图像中筛选出高质量偏好对，确保标注覆盖能力全谱系与优化全周期；同时，人工标注的主观偏差与噪声需通过多轮验证机制加以抑制，而跨生成器与跨迭代的样本平衡性亦需精细设计，方能支撑后续能力感知条件化训练的可信性。

常用场景

经典使用场景

在文本到图像生成领域，HPDv3++数据集被广泛用于训练和评估偏好奖励模型，尤其是面向能力跨度极大的扩散模型。该数据集基于前沿生成器Qwen-Image构建，涵盖超过1.1M张候选图像与212K对偏好标注，按照文本遵循度和美学质量两个核心维度进行精细标注。研究者常利用该数据集在策略优化框架下训练奖励模型，使其能够对从弱到强、不同RL优化阶段的生成器输出做出准确的质量评判。其精心设计的双轴偏好结构和跨能力层级标注机制，使得模型训练可以覆盖扩散模型完整能力谱系，成为推进图文对齐与奖励优化研究不可或缺的数据基石。

衍生相关工作

HPDv3++数据集的发布催生了多项重要研究工作，典型代表包括作者团队在此基础上提出的HPSv3++奖励模型，其采用两阶段训练策略，结合正交梯度下降的持续学习与基于FiLM条件调制的半监督自适应训练，在多项偏好预测基准上达到了最优性能。该数据集还激发了能力感知奖励建模研究方向，推动研究者探索如何将模型生成能力隐式编码与RL迭代步骤显式调控相结合。此外，基于HPDv3++的奖励模型被广泛应用于文本到图像强化学习下游任务，如图文对齐增强、美学质量控制等，衍生出一系列面向扩散模型的偏好优化与校准方法。

数据集最近研究

最新研究方向

在当前扩散模型能力快速演进的背景下，HPDv3++数据集聚焦于构建能覆盖生成器全能力谱系和强化学习全迭代阶段的两轴偏好数据集。该数据集基于前沿的Qwen-Image生成器，从18.5万筛选提示和超110万候选图像中，通过人工标注文本遵循与美学质量，经30余人次的两轮6选2标注和双重投票验证，最终产出约21.2万偏好对。这一设计精准回应了现有奖励模型在泛化能力上的短板，即难以同步适配不同能力水平的生成器及优化迭代阶段。结合HPSv3++提出的能力感知与RL迭代感知奖励模型，该数据集为构建更具普适性的文本到图像奖励机制提供了关键基准，预示着奖励模型正从单一静态评估向动态、多维度理解生成能力跃迁的前沿方向。