RefSel-HQ

RefSel-HQ 数据集由哈尔滨工业大学、华为诺亚方舟实验室、新加坡南洋理工大学、香港城市大学的研究团队创建，包含 10,000 对真实图像和参考图像的标注掩码。数据集用于训练 RefSel 模块，该模块旨在从高质量参考图像中选择适当的特征进行纹理转移。数据集通过掩码生成管道构建，包含 10,000 对真实图像和参考图像的标注掩码。数据集的创建旨在解决面部图像修复中身份保持和纹理恢复的问题，通过参考图像提供身份相关特征，从而实现更忠实、更精确的纹理转移。

The RefSel-HQ dataset was created by research teams from Harbin Institute of Technology, Huawei Noah's Ark Lab, Nanyang Technological University Singapore, and City University of Hong Kong. It contains 10,000 pairs of annotated masks for real images and reference images, and is constructed via a mask generation pipeline. The dataset is used to train the RefSel module, which aims to select appropriate features from high-quality reference images for texture transfer. Developed to address the issues of identity preservation and texture restoration in facial image inpainting, the dataset provides identity-related features through reference images, enabling more faithful and precise texture transfer.

原始信息汇总

RefSTAR数据集概述

数据集基本信息

• 数据集名称：RefSTAR
• 官方仓库：https://github.com/yinzhicun/RefSTAR

数据集描述

• 用途：用于盲面部图像恢复，包含参考选择、传输和重建技术
• 特点：专注于面部图像的盲恢复（即在缺乏先验信息情况下的恢复）

技术背景

• 方法：采用参考选择、传输和重建的技术流程
• 目标：实现高质量的面部图像恢复

搜集汇总

数据集介绍

构建方式

RefSel-HQ数据集的构建采用了精细的标注流程与自动化生成相结合的方法。研究团队首先从CelebRef-HQ等现有面部数据集中精选了10,000对高质量图像作为基础数据，其中800对经过人工标注纹理一致性区域。基于这些标注样本，训练了一个二进制分割U-Net模型用于自动生成掩码，并通过人工校验确保标注质量。为模拟真实场景，采用Real-ESRGAN的退化模型对原始图像进行运动模糊和散焦模糊等复合退化处理，构建了低质量输入图像。在严重退化情况下，采用全脸掩码策略以应对纹理匹配困难的问题。整个构建过程特别关注动态表情冲突和静态特征差异的标注规范，确保数据标注的精确性和一致性。

特点

该数据集的核心价值体现在三个方面：首先，包含10,000对经过专业标注的高质量图像对，每对都配有精确的二进制掩码标注纹理一致性区域，这在同类数据集中具有显著规模优势。其次，采用双轴标注体系严格区分动态表情冲突（如嘴部开合）和静态特征差异（如雀斑分布），这种分类标注方式为模型学习提供了细粒度的监督信号。最后，数据集创新性地引入自适应掩码机制，针对不同退化程度智能调整标注策略，既保留了严重退化情况下的可用信息，又避免了错误标注引入的噪声。这些特性使该数据集特别适合训练具有精确参考特征选择能力的模型。

使用方法

使用该数据集时需遵循其设计原理：在训练参考选择模块时，将退化图像与参考图像作为输入，预测的掩码区域与人工标注进行OHEM-CE损失计算，重点优化难以预测的区域。实际应用包含两个关键环节：通过退化-参考图像对生成纹理一致性掩码，再将该掩码作用于双流交叉注意力机制指导特征融合。在模型验证阶段，建议分别测试不同退化程度下的掩码预测准确率，并评估五个典型冲突场景（嘴部/眼部状态、皱纹、胡须、配饰）的表现。值得注意的是，当处理极端退化样本时，应激活全脸掩码模式以确保特征传递的可靠性。

背景与挑战

背景概述

RefSel-HQ数据集由哈尔滨工业大学、华为诺亚方舟实验室、南洋理工大学和香港城市大学的研究团队于2025年创建，旨在解决盲人脸图像恢复中的关键挑战。该数据集包含10,000对高质量人脸图像及其标注掩码，通过精心设计的掩码生成流程构建，重点关注人脸纹理的一致性区域标注。作为RefSTAR框架的核心组成部分，RefSel-HQ通过显式标注地面真值与参考图像间的纹理一致区域，为人脸恢复领域提供了重要的监督信号，显著提升了身份特征保留和个性化纹理恢复的精度。该数据集的建立标志着人脸恢复从隐式特征学习到显式区域选择的范式转变，为后续研究提供了宝贵的基准资源。

当前挑战

RefSel-HQ数据集面临的挑战主要体现在两个方面：在领域问题层面，盲人脸恢复需应对未知复杂退化与人类对人脸敏感性的双重挑战，现有方法在身份保留和纹理恢复上存在局限，特别是当参考图像存在姿态、表情或年龄阶段差异时，难以有效选择可迁移纹理区域；在构建过程中，数据集需要精确标注动态冲突（如嘴部开合）和静态冲突（如眼镜遮挡），且需设计自适应策略处理严重退化情况下的全脸掩码生成。此外，跨注意力机制中的特征错位问题以及循环一致性约束的优化难度，都增加了构建高效人脸恢复系统的复杂性。

常用场景

经典使用场景

RefSel-HQ数据集在盲人脸图像恢复领域具有重要应用，特别是在需要参考高质量图像进行特征选择的场景中。该数据集通过标注10,000对地面真实图像和参考图像之间的纹理一致区域，为研究人员提供了明确的特征迁移依据。在盲人脸恢复任务中，该数据集常用于训练参考选择模块（RefSel），以预测哪些参考图像区域应被用于纹理迁移，从而显著提升恢复结果的保真度和身份一致性。

衍生相关工作

RefSel-HQ数据集的推出催生了一系列相关研究工作，尤其是在参考引导的人脸恢复领域。基于该数据集，研究人员开发了RefSTAR框架，通过参考选择、迁移和重建的协同优化，显著提升了恢复性能。此外，该数据集还启发了对双流交叉注意力机制和掩码兼容循环一致性损失的研究，进一步推动了盲人脸恢复技术的发展。其他经典工作还包括对生成先验和扩散模型在参考引导恢复中的优化研究。

数据集最近研究

最新研究方向

近年来，RefSel-HQ数据集在盲人脸图像修复领域引起了广泛关注，特别是在参考引导的修复方法中。该数据集通过精心标注的10,000对高质量参考图像和地面真实图像对，为研究人员提供了一个强大的工具，用于训练和验证参考选择模块。前沿研究主要集中在如何有效利用参考图像中的身份相关特征，以解决退化输入与参考图像之间的不一致性问题。热点研究方向包括双流交叉注意力机制的优化、掩码兼容的循环一致性损失设计，以及如何在高退化条件下保持身份特征的完整性。这些研究不仅提升了盲人脸修复的保真度，还为真实场景下的应用提供了新的解决方案。RefSel-HQ数据集的推出，填补了参考引导修复领域的数据空白，对推动该领域的技术进步具有重要意义。

相关研究论文

• RefSTAR: Blind Facial Image Restoration with Reference Selection, Transfer, and Reconstruction

  哈尔滨工业大学, 华为诺亚方舟实验室, 新加坡南洋理工大学, 香港城市大学 · 2025年