MPII-Test

MPII-Test数据集是由上海交通大学和vivo移动通信有限公司的研究人员创建的，旨在为人体图像恢复领域提供一个新的基准。该数据集包含5427张真实世界中的退化人体图像，其中许多图像具有丰富的运动模糊模式。这些图像是通过模拟人体运动模糊和通用噪声的共存情况生成的，以帮助模型学习更真实的退化场景，并在实际应用中提高其泛化能力。数据集的创建过程包括人体分割模型的应用、运动模糊模拟模块的集成以及通用两阶段退化流程。MPII-Test数据集旨在解决现有退化流程中人体运动模糊不足的问题，并提高模型在包含人体运动模糊和其他退化类型的人体图像恢复任务中的性能。

The MPII-Test dataset was created by researchers from Shanghai Jiao Tong University and Vivo Mobile Communications Co., Ltd., aiming to provide a new benchmark for the field of human image restoration. This dataset contains 5,427 real-world degraded human images, many of which exhibit rich motion blur patterns. These images are generated by simulating the coexistence of human motion blur and general noise, to help models learn more realistic degradation scenarios and improve their generalization ability in practical applications. The creation process of the dataset includes the application of human segmentation models, the integration of motion blur simulation modules, and a general two-stage degradation pipeline. The MPII-Test dataset is designed to address the insufficient human motion blur issue in existing degradation pipelines, and enhance the performance of models on human image restoration tasks involving both human motion blur and other degradation types.

原始信息汇总

HAODiff 数据集概述

数据集基本信息

• 名称: HAODiff: Human-Aware One-Step Diffusion via Dual-Prompt Guidance
• 发布日期: 2025-05-27
• 研究领域: 人体图像恢复（处理运动模糊和通用噪声）
• 论文链接: https://arxiv.org/abs/2505.19742
• 补充材料: https://github.com/gobunu/HAODiff/releases/download/Paper/supp.pdf

核心贡献

1. 提出一种新型单步扩散模型（HAODiff），用于人体图像恢复
2. 设计三重分支双提示引导（DPG）机制
3. 引入MPII-Test基准测试集（包含混合噪声和人体运动模糊案例）

关键技术

• 退化管道: 模拟人体运动模糊（HMB）与通用噪声的共存
• 训练目标:
  • 高质量图像
  • 残差噪声（LQ-HQ）
  • HMB分割掩码
• 双提示对生成: 在单扩散步骤中实现分类器无关引导（CFG）

评估数据集

1. PERSONA-Val（合成数据集）
2. PERSONA-Test（真实世界数据集）
3. MPII-Test（新引入的基准测试集）

性能表现

• 在定量指标和视觉质量上均超越现有SOTA方法
• 主要评估结果见论文中的Table 1（PERSONA-Val）和Table 2（PERSONA-Test/MPII-Test）

可视化结果

• 包含合成数据集（Figure 5）和真实数据集（Figure 6）的对比
• 补充材料中提供更多纹理（Figure 4）和挑战任务（Figure 11-12）的对比

当前状态

• [ ] 代码和预训练模型待发布
• [x] 论文结果已公开

引用格式

bibtex @article{gong2025haodiff, title={{HAODiff: Human-Aware One-Step Diffusion via Dual-Prompt Guidance}}, author={Gong, Jue and Yang, Tingyu and Wang, Jingkai and Chen, Zheng and Liu, Xing and Gu, Hong and Liu, Yutong and Zhang, Yulun and Yang, Xiaokang}, journal={arXiv preprint 2505.19742}, year={2025} }

搜集汇总

数据集介绍

构建方式

MPII-Test数据集的构建基于MPII Human Pose数据集，通过精心筛选和处理，形成了一个包含5,427张真实世界图像的基准测试集。该数据集特别关注人类运动模糊（HMB）与其他退化类型的共存情况。构建过程中，采用了扩展关键点外框的策略，确保图像中的人类主体被完整包含。此外，通过精细调优的YOLO模型检测HMB实例，进一步增强了数据集的针对性和实用性。

特点

MPII-Test数据集以其丰富的真实世界退化案例和人类运动模糊（HMB）的多样性而著称。该数据集不仅涵盖了常见的图像退化类型，如噪声、压缩伪影等，还特别强调了HMB的存在，使其成为评估人类图像恢复算法的理想基准。数据集的图像来源于真实场景，确保了其在实际应用中的代表性和挑战性。此外，数据集的构建还考虑了人类姿态的多样性，进一步提升了其在人类中心视觉任务中的适用性。

使用方法

MPII-Test数据集主要用于评估人类图像恢复算法的性能，特别是在处理人类运动模糊（HMB）和其他退化类型共存的情况下的表现。研究人员可以通过在该数据集上测试其算法，获得关于模型鲁棒性和恢复效果的客观指标。使用该数据集时，建议结合多种评估指标，如HMB-R（人类运动模糊检测比率）和传统的图像质量评估指标，以全面衡量算法的性能。此外，该数据集还可用于训练和验证针对人类图像恢复的特定模型，提升其在真实场景中的适用性。

背景与挑战

背景概述

MPII-Test数据集由上海交通大学和vivo移动通信有限公司的研究团队于2025年提出，旨在解决人类中心图像恢复中的关键问题。该数据集基于MPII Human Pose数据集构建，包含5,427张真实世界退化的人类图像，特别关注人类运动模糊（HMB）与通用噪声的共存情况。MPII-Test的创建填补了现有数据集中人类运动模糊模拟不足的空白，为人类身体恢复（HBR）领域提供了更贴近真实场景的评估基准。该数据集的推出显著推动了图像恢复技术在人类中心场景中的应用，特别是在3D重建、姿态估计和人机交互检测等下游任务中展现出重要价值。

当前挑战

MPII-Test数据集面临的挑战主要体现在两个方面：在领域问题层面，该数据集致力于解决人类中心图像中运动模糊与多种退化共存的复杂恢复问题，这种复合退化模式对模型的鲁棒性和泛化能力提出了极高要求；在构建过程层面，研究团队需要精确模拟真实世界中的人类运动模糊模式，同时确保其与通用噪声退化的自然融合，这涉及到复杂的退化管道设计和精确的模糊区域标注。此外，数据集中人类活动的多样性和运动模糊的时空特性也为数据采集和标注带来了显著挑战。

常用场景

经典使用场景

MPII-Test数据集作为人类中心图像恢复领域的基准测试集，其经典使用场景主要集中在评估算法对复杂退化条件下的人体图像恢复能力。该数据集通过模拟真实场景中的人体运动模糊（HMB）与通用噪声的共存现象，为研究者提供了验证模型在同时处理多种退化类型时的性能标准。在计算机视觉领域，该数据集常被用于测试扩散模型、生成对抗网络等先进方法在人体姿态保持、细节还原等方面的表现。

实际应用

在实际应用层面，MPII-Test支撑的算法可显著提升监控视频中运动人体的清晰度、社交媒体低质量图像的增强效果，以及医疗影像中动态器官的细节还原。其构建的退化模型已被应用于智能手机摄像算法优化，通过模拟手持拍摄场景下的复合退化，显著改善了移动端人像模式的运动模糊抑制能力。在虚拟现实领域，基于该数据集训练的模型能够有效修复VR内容采集过程中的人体运动失真。

衍生相关工作

该数据集直接催生了HAODiff等突破性工作，其提出的双提示引导机制已成为扩散模型在图像恢复领域的新范式。相关衍生研究包括OSDHuman提出的单步扩散框架、DPG引导策略在医学影像去噪的迁移应用，以及基于HMB分割的注意力机制改进。在数据集层面，后续工作扩展构建了Persona-Test等专业评估集，形成了人类中心图像恢复的基准测试体系。