SketchRef

SketchRef数据集由北京大学王选计算机研究所创建，包含四个子数据集：动物、人类面部、人类身体和常见物体。该数据集旨在评估自动草图合成算法的质量，特别关注结构识别性和简化级别。数据集的创建过程包括收集参考照片、合成草图以及共享草图和参考照片之间的注释。SketchRef数据集的应用领域主要集中在图像合成领域，特别是草图合成算法的评估和改进。The SketchRef dataset was developed by the Wangxuan Institute of Computer Technology, Peking University. It comprises four sub-datasets: animals, human faces, human bodies, and common objects. This dataset is designed to evaluate the quality of automated sketch synthesis algorithms, with particular focus on structural recognizability and simplification level. The dataset construction process includes collecting reference photographs, synthesizing sketches, and creating annotations that establish the correspondence between each sketch and its corresponding reference photograph. The main application scenarios of the SketchRef dataset lie in the field of image synthesis, especially for the evaluation and improvement of sketch synthesis algorithms.

搜集汇总

数据集介绍

构建方式

SketchRef数据集的构建方式是通过对真实世界物体的参考照片进行分类，并将这些照片与相应的合成草图配对。数据集包括了动物、人脸、人体和常见物体四个类别的参考照片，以及由现有草图合成方法生成的对应草图。为了确保草图与参考照片之间的结构一致性，数据集还包含了共享的视觉关键点注释。对于人体、人脸和动物，草图和参考照片共享相同的视觉关键点信息，这对于评估草图的结构级可识别性非常重要。数据集的构建还考虑了简化程度对可识别性的影响，提出了一个受简化程度约束的可识别性计算方法，以确保对具有不同简化程度的草图进行公平评估。

特点

SketchRef数据集的特点在于其全面性和多样性。数据集包含了动物、人脸、人体和常见物体四个类别的参考照片，以及由现有草图合成方法生成的对应草图。数据集还包含了共享的视觉关键点注释，这对于评估草图的结构级可识别性非常重要。此外，数据集还考虑了简化程度对可识别性的影响，提出了一个受简化程度约束的可识别性计算方法，以确保对具有不同简化程度的草图进行公平评估。最后，数据集还收集了艺术爱好者的反馈，验证了所提出的评估方法的有效性。

使用方法

SketchRef数据集的使用方法包括以下几个方面：首先，可以使用数据集中的参考照片和草图来评估草图合成算法的性能。其次，可以使用数据集中的共享关键点注释来评估草图的结构级可识别性。此外，可以使用数据集中提出的受简化程度约束的可识别性计算方法来确保对具有不同简化程度的草图进行公平评估。最后，可以使用数据集中收集的艺术爱好者的反馈来验证所提出的评估方法的有效性。

背景与挑战

背景概述

在图像合成领域，草图作为一种强大的艺术技巧，能够捕捉现实世界物体的关键视觉信息，越来越受到关注。然而，评估合成草图的质量却面临着独特的挑战。目前，由于缺乏统一的基准数据集，过度依赖分类准确率来评估可识别性，以及对不同简化程度的草图进行不公平的评价，因此现有的草图合成评估方法并不充分。为了解决这些问题，我们引入了SketchRef，这是一个包含4个类别参考照片的基准数据集，包括动物、人脸、人体和常见物体，以及新的评估指标。考虑到分类准确率不足以衡量草图与其参考照片之间的结构一致性，我们提出了基于姿态估计的结构级可识别性评估指标——平均对象关键点相似性（mOKS）。为了确保对具有不同简化程度的草图进行公平评价，我们提出了一种受简化程度约束的可识别性计算方法。我们还收集了8K名艺术爱好者的反馈，验证了我们提出的评估方法的有效性。我们希望这项工作能够为草图合成算法提供全面的评估，从而使其性能更接近人类的理解。

当前挑战

SketchRef数据集面临的挑战包括：1) 缺乏统一的基准数据集，现有的评估方法中每个研究都选择自己的数据集进行评估，而这些数据集在内容上往往局限于动物和物体，经常忽略人脸和人体姿态；2) 当评估草图的可识别性时，仅使用分类准确率作为定量指标，定义为类别级可识别性。现有工作忽略了草图与其参考照片之间结构信息的一致性，我们将其定义为结构级可识别性；3) 尽管一些研究发现了简化程度对可识别性的影响，注意到更高的简化程度会导致更低的可识别性，但当前研究使用相同的可识别性指标来评估不同简化程度的草图，这种方法对具有不同简化程度的草图是不公平的。为了解决上述问题，我们引入了SketchRef基准数据集和新的评估指标，重点关注可识别性和简化程度，旨在建立一个旨在评估草图的基准，包括4个子数据集：人体、人脸、动物和物品。特别地，我们发现对于动物、人脸和人体的情况，草图和参考照片可以共享相同的视觉关键点注释，这是重要的结构信息。基于这一观察，我们提出了一个新的指标，称为平均对象关键点相似性（mOKS），它使用通用的姿态估计模型量化草图的结构级可识别性。更重要的是，考虑到草图在可识别性和简化程度之间的权衡，我们引入了一种受简化程度约束的可识别性计算方法。这种方法能够公平地评估具有不同简化程度的草图。

常用场景

经典使用场景

在图像合成领域，SketchRef数据集主要用于评估自动素描合成算法的性能。该数据集提供了包括动物、人脸、人体和常见物体在内的四种参考照片类别，并引入了新的评估指标。通过使用SketchRef，研究人员可以全面评估素描合成算法，从而使其性能更接近人类的理解。

实际应用

SketchRef数据集的实际应用场景包括但不限于：1. 研究人员可以使用该数据集来评估和改进自动素描合成算法的性能。2. 设计师和艺术家可以使用该数据集来生成高质量的素描作品。3. 教育机构可以使用该数据集来教授素描技巧和图像合成。

衍生相关工作

SketchRef数据集的发布为后续相关研究提供了重要的基准和参考。后续研究可以基于SketchRef数据集来进一步探索和改进素描合成算法，以及评估和比较不同算法的性能。此外，SketchRef数据集的评估指标和评估方法也可以被其他相关领域的研究所借鉴和应用。