Persona-36
收藏arXiv2025-07-14 更新2025-07-16 收录
下载链接:
https://www.gettyimages.com/
下载链接
链接失效反馈官方服务:
资源简介:
Persona-36是一个包含36个独特身份的数据集,由Getty Images提供,用于个性化人体图像生成。数据集包括每个性别类别(男性和女性)的六个个体,涵盖三个年龄组:成人、儿童和婴儿。每个身份由3到5个多视图图像组成,这些图像在相同的服装下拍摄。该数据集旨在评估个性化人体图像生成方法的性能,支持从参考图像中合成新身份,无需进一步微调。
提供机构:
高通人工智能研究部† 韩国科学技术院 (KAIST)
创建时间:
2025-07-14
搜集汇总
数据集介绍

构建方式
Persona-36数据集构建于Getty Images平台,精心挑选了36个独特身份,涵盖不同性别和年龄层(成人、儿童和婴儿)。每个身份由3至5张多视角图像组成,确保服装和身份的一致性。数据集划分为24个训练身份和12个测试身份,严格避免身份重叠,为个性化人类图像生成任务提供了高质量的基准。
使用方法
该数据集专为训练和评估部分级可控人类图像生成模型而设计。研究人员可利用其多身份和多视角特性,开发无需推理时微调的生成方法。通过将参考图像置于固定‘衣柜’区域,模型能学习从已知身份泛化到未见身份,实现高保真度的部分组合生成。
背景与挑战
背景概述
Persona-36数据集由Qualcomm AI Research与韩国科学技术院(KAIST)的研究团队于2025年创建,旨在推动细粒度可控人体图像生成领域的研究。该数据集包含36个独特身份的多视角图像,涵盖不同性别与年龄层(成人、儿童、婴儿),每个身份配备3至5张同服装图像,为服装属性保留与身份一致性研究提供了标准化基准。其核心创新点在于支持部件级(如面部、上下装)组合生成,解决了虚拟试衣、个性化内容创作等场景中多属性协同控制的难题,成为首个针对部件级人体合成的开源评估基准。
当前挑战
该数据集需应对两大核心挑战:在领域问题层面,现有方法难以平衡生成图像的身份保真度与文本提示遵从性,部件组合时易出现属性混淆(如服装纹理错位);在构建层面,多视角图像采集需严格保持光照、姿态一致性,而精细的部件标注(如SCHP分割)面临遮挡区域标注噪声,需引入人工校正。此外,模型训练需在有限数据(<100样本)下实现跨身份泛化,这对空间注意力机制设计提出了更高要求。
常用场景
经典使用场景
Persona-36数据集在个性化人类图像生成领域具有广泛的应用场景,特别是在虚拟试衣和个性化内容生成方面。该数据集通过提供36个独特身份的多样化图像,支持模型在生成图像时精确控制不同身体部位(如面部、上衣和下装)的组合。这种能力使得模型能够在保持身份一致性的同时,生成多样化的场景和动作,如咖啡厅办公或海滩演奏乐器。
解决学术问题
Persona-36数据集解决了个性化人类图像生成中的关键学术问题,包括身份一致性和细节保留。传统方法通常需要针对每个新身份进行微调,计算成本高昂且不适用于实时应用。该数据集通过Wardrobe Polyptych LoRA框架,实现了无需额外微调的高保真图像生成,显著降低了计算负担。此外,其选择性主题区域损失机制有效提升了生成图像与文本提示的匹配度,为数据受限环境下的高效生成提供了新思路。
实际应用
在实际应用中,Persona-36数据集为虚拟试衣、个性化广告和内容创作提供了强大支持。例如,电商平台可以利用该数据集生成的图像展示服装在不同场景下的效果,而无需实际拍摄。此外,娱乐产业可以快速生成符合角色设定的多样化图像,显著降低制作成本。数据集的低数据需求和高保真特性使其在实时应用中表现出色,为行业提供了高效且经济的解决方案。
数据集最近研究
最新研究方向
Persona-36数据集作为个性化人体图像生成领域的重要基准,近期研究聚焦于基于部件级控制的跨身份组合生成技术。该数据集通过整合36个多年龄段、多性别的完整身份数据,为Wardrobe Polyptych LoRA框架提供了验证基础,该框架创新性地采用衣柜区域空间定位策略,实现了无需推理时微调的新身份生成能力。当前研究热点体现在三个方面:一是基于注意力机制的多条件图像融合技术,通过选择性主体区域损失函数解决遮挡场景下的细节保留难题;二是低秩适应(LoRA)在扩散模型中的轻量化应用,仅需百级样本即可训练具有跨身份泛化能力的生成模型;三是空间信息保持机制的发展,通过结构化衣柜区域设计有效降低了传统文本嵌入方式导致的空间细节损失。这些突破对虚拟试衣、数字人定制等应用场景具有显著意义,特别是在处理未见身份时的生成效果较传统方法提升显著,为数据受限环境下实现高保真人体合成提供了新范式。
相关研究论文
- 1From Wardrobe to Canvas: Wardrobe Polyptych LoRA for Part-level Controllable Human Image Generation高通人工智能研究部† 韩国科学技术院 (KAIST) · 2025年
以上内容由遇见数据集搜集并总结生成



