基于语义关联的人像和服饰关键点

## CVPR 2023 Linking Garment With Person via Semantically Associated Landmarks for Virtual Try-On

The code is avaliable: https://www.modelscope.cn/models/damo/cv_SAL-VTON_virtual-try-on/summary
## 数据集描述 Dataset Description
### 名称 Name
基于语义关联的人体及服饰关键点数据集

Semantically Associated Landmarks for Human and Garment（SAL-HG）

### 简介 Brief Introduction
这个数据集是在VITON-HD、VITON、DressCode（上装部分）这三个用于虚拟试衣的开源数据集的图片上标注了语义关联的关键点。

这三个数据集中都包括服饰平铺图片和人像图片。

语义关联的含义是：人像和服饰中有着语义关联的一对的关键点。如下图中的*_A_*和*_A'_*

To obtain the semantically associated landmark dataset, we re-annotate images on the popular virtual try-on benchmark VITON-HD， VITON and DressCode（upper）datasets.

Each dataset consists of an in-shop garment image and an image of a person wearing the garment.

As can be observed from the below figure, the pixels around landmark *_A_* on the try-on result should come from the landmark *_A'_* area on the garment. Such a pair of landmarks with the same local semantics are called semantically associated landmarks.

<div>
<img src=landmark.png>
</div>

### 标注规则 Label Rule
我们采用了一套统一的关键点标注规则，来为不同类型的服饰进行标注，也就是说，不同类型服饰图片中的相同的序号的关键点拥有一致的语义信息。

这是之前很多相关数据集所不具备的特点，过往的一些相关数据集中不同类型的服饰往往采用不同的关键点标注规则。

A unified labelling rule of landmarks is applied for diverse styles of garments.

To be specific, landmarks are defined according to different regions of garments and persons, so as to ensure that the landmarks of the same serial number on different types of garments have the same semantics.

如下图所示，每张图片都标注了32个关键点，以及3种不同的属性（可见性、遮挡性、存在性），3个属性彼此之间互斥。

As shown in the below figure, each image has 32 landmarks with several attributes (visible, occluded and absent).

When a region of the garment is lacking, the attributes of such landmarks in the lacking region become absent.

The sleeves of the right garment in the below figure are lacking, thus the attributes of landmarks in the upper arm region, elbow region, forearm region and sleeve opening region are absent.

<div>
<img src=label.png>
</div>

### 样例 Samples

更多标注示例。

Additional samples are provied below.
<div>
<img src=sample.png width="1200">
</div>

### 和其他数据集比对 Compare with Other Datasets

下图是我们和其他相关数据集的比对，（a）DeepFasion and ULD（b）DeepFashion2（c）FashionAI（d）我们的SAL-HG。

Some samples are selected to show the differences between different clothing landmark datasets.(a) DeepFasion and ULD, (b) DeepFashion2, (c) FashionAI and (d) Ours.
<div>
<img src=compare.png width="1200">
</div>

## 数据集结构 Dataset Structure
关键点的标注存储在pkl格式的文件中, 数据内容示例如下

The annotations are stored in pkl files. An example of the data content is provided below.

```python
import pickle

pkl_path = 'hd_train_person.pkl'
pkl_data = pickle.load(open(pkl_path, 'rb'))

for i in range(len(pkl_data)):
name = pkl_data[i]['name']
used = pkl_data[i]['used'] # if used == True, this annotation is valid
if used:
points = pkl_data[i]['points']
# [x, y, attribute]
# attrubute:1 visible, 0 occluded, -1 absent
```

### Clone with HTTP
```bash
git clone https://www.modelscope.cn/datasets/damo/SAL-HG.git
```

CVPR 2023：借助语义关联关键点实现服饰与人体绑定的虚拟试衣
代码开源地址：https://www.modelscope.cn/models/damo/cv_SAL-VTON_virtual-try-on/summary

## 数据集描述
### 名称
基于语义关联的人体及服饰关键点数据集（Semantically Associated Landmarks for Human and Garment，简称SAL-HG）

### 简介
本数据集针对虚拟试衣领域的三个主流开源基准数据集VITON-HD、VITON以及DressCode（上装子集）的图像进行语义关联关键点标注。上述三个数据集均包含服饰平铺图像与穿戴该服饰的人像图像。
所谓语义关联关键点，指的是人像与服饰间存在语义对应关系的一对关键点，例如图中的*_A_*与*_A'_*。
为构建该语义关联关键点数据集，我们在VITON-HD、VITON及DressCode（上装部分）这三个主流虚拟试衣基准数据集上重新完成了标注工作。每个数据集均包含商场服饰单品图像与穿戴该服饰的人像图像。
如示例图所示，虚拟试衣结果中关键点*_A_*周边的像素应源自服饰上关键点*_A'_*对应的区域。这类具备一致局部语义的关键点对，即被称为语义关联关键点。
<div>
<img src=landmark.png>
</div>

### 标注规则
我们采用统一的关键点标注规则，可适配多种风格的服饰，即不同类型服饰中序号相同的关键点具备完全一致的语义信息。这也是此前多数相关数据集所不具备的核心特性——过往相关数据集往往针对不同类型服饰采用差异化的关键点标注方案。
具体而言，我们依据服饰与人体的不同区域定义关键点，确保不同类型服饰中序号相同的关键点语义保持统一。
如示例图所示，每张图像共标注32个关键点，以及3种互斥的属性：可见性、遮挡性与缺失性。
当服饰的某一区域缺失时，该区域内的关键点属性将被标记为“缺失”。例如下图右侧服饰的袖子缺失，因此上臂区域、肘部区域、前臂区域以及袖口区域的关键点属性均为“缺失”。
<div>
<img src=label.png>
</div>

### 样例
以下提供更多标注示例。
<div>
<img src=sample.png width="1200">
</div>

### 与其他数据集比对
下图展示了本数据集与其他同类服饰关键点数据集的差异：(a) DeepFashion与ULD、(b) DeepFashion2、(c) FashionAI、(d) 本数据集SAL-HG。
<div>
<img src=compare.png width="1200">
</div>

## 数据集结构
关键点标注存储于pkl格式文件中，数据内容示例如下：
python
import pickle

pkl_path = 'hd_train_person.pkl'
pkl_data = pickle.load(open(pkl_path, 'rb'))

for i in range(len(pkl_data)):
name = pkl_data[i]['name']
used = pkl_data[i]['used'] # 若used为True，则该标注有效
if used:
points = pkl_data[i]['points']
# 格式为[x, y, 属性值]
# 属性值说明：1 表示可见，0 表示遮挡，-1 表示缺失

### 通过HTTP协议克隆
bash
git clone https://www.modelscope.cn/datasets/damo/SAL-HG.git

搜集汇总

背景与挑战

背景概述

该数据集基于VITON-HD、VITON和DressCode等虚拟试衣开源数据集，通过标注人像和服饰之间语义关联的关键点构建。它采用统一的标注规则，为每张图片提供32个关键点及其可见性等属性，以支持虚拟试衣任务。