One-shot Face Sketch Dataset (OS-Sketch)

本数据集名为One-shot Face Sketch Dataset (OS-Sketch)，由广东工业大学、中山大学等研究机构联合创建。数据集包含400对人脸照片与草图图像，涵盖了不同风格、不同背景、不同年龄段、不同性别、不同表情、不同光照条件的人脸照片和草图。数据集的创建旨在模拟真实世界场景，为单次人脸草图合成研究提供更加全面和具有挑战性的基准数据集。数据集的创建过程包括从互联网上选取业余或博主绘制的草图及其对应照片，以及从现有数据集中选取具有不同风格的人脸照片和草图图像。数据集的应用领域为人脸草图合成，旨在解决传统方法在数据稀缺和人工成本高的问题。通过使用单对人脸照片和草图图像进行训练，本数据集能够帮助研究人员在真实世界场景下实现高效的人脸草图合成。

This dataset is named One-shot Face Sketch Dataset (OS-Sketch), and was jointly created by research institutions including Guangdong University of Technology and Sun Yat-sen University. The dataset contains 400 pairs of facial photos and sketch images, covering faces and sketches with diverse styles, backgrounds, age groups, genders, expressions and lighting conditions. The development of this dataset aims to simulate real-world scenarios and provide a more comprehensive and challenging benchmark dataset for one-shot face sketch synthesis research. The construction process includes selecting sketches and their corresponding photos drawn by amateurs or bloggers from the Internet, as well as extracting facial photos and sketch images with varied styles from existing datasets. This dataset is applied in the field of face sketch synthesis, aiming to address the issues of data scarcity and high labor costs in traditional methods. By training with single pairs of facial photos and sketch images, it can help researchers achieve efficient face sketch synthesis in real-world scenarios.

原始信息汇总

OS-Sketch数据集概述

数据集简介

• 名称：OS-Sketch
• 内容：包含多样化风格的素描图像，涵盖研究用素描和互联网选取的分布外(OOD)风格素描
• 特点：
  • 包含传统单背景研究照片和大量真实场景照片
  • 覆盖不同背景、年龄、性别、表情、视角和光照条件
  • 采用单样本训练设置（每次仅使用一对图像训练，其余用于推理）

数据集组成

1. 网络艺术家部分：40对照片-素描对（来自业余艺术家和博主）
2. CUFS数据集：100对（简单彩色背景人脸素描）
3. CUFSF数据集：110对（暗光背景）
4. WildSketch数据集：150对（真实场景）

数据获取方式

1. 主下载链接：Google Drive（https://drive.google.com/file/d/1FGmPlz84-C40XF50V92YYhzp7OMnnA0Q/view?usp=drive_link）
2. CUFSF补充下载：需独立获取部分数据（https://mmlab.ie.cuhk.edu.hk/archive/cufsf/），选取特定范围文件作为测试数据
3. 预处理工具：
   • 面部特征点检测模型（https://drive.google.com/file/d/1mkOKLUYtPBCGjM2TfxkpQ6qY-iD1YimH/view?usp=drive_link）
   • 素描对齐脚本（Sketch2Photo_Alignment.py）
   • 素描对比度标准化脚本（sketch_contrast_normalizer.py）

原始数据保留

• 原始网络素描存放在original-ood-sketches文件夹

使用协议

• 用途限制：仅限非商业研究用途
• 版权声明：网络来源图像版权不属于数据集创建者
• 禁止行为：
  • 任何商业用途
  • 复制、发布或分发数据集（允许同一组织内部单站点使用）
• 终止条款：创建方保留随时终止访问的权利

搜集汇总

数据集介绍

构建方式

One-shot Face Sketch Dataset (OS-Sketch) 的构建过程体现了对真实场景的高度还原。研究团队从多个来源精心挑选了400对照片-素描图像对，包括来自互联网的业余爱好者作品以及现有数据集中的样本。构建过程中特别注重多样性，涵盖了不同风格的素描（如传统研究风格和网络新兴风格）以及不同背景、年龄、性别、表情和光照条件的照片。为强化分布外评估，每次实验仅采用一对图像进行训练，其余用于推理，这种设计显著提升了数据集的挑战性和实用性。

使用方法

该数据集的使用遵循严格的单样本学习范式。研究人员需选择任意一对照片-素描作为训练样本，其余399对用于测试模型在独立同分布和分布外样本上的泛化能力。评估时建议采用结构相似性指数（SSIM）、学习感知图像块相似度（LPIPS）和Fréchet起始距离（FID）等多维度指标。数据集特别适用于验证扩散模型等生成方法在有限训练数据下的表现，通过梯度优化指令的技术路线，用户可探索从单样本中提取跨风格编辑方向的可能性。

背景与挑战

背景概述

One-shot Face Sketch Dataset (OS-Sketch) 是由广东工业大学和字节跳动的研究团队于2025年提出的一个创新性数据集，旨在解决传统人脸素描合成方法在数据稀缺和高人力成本方面的局限性。该数据集包含400对具有多样化风格和背景的人脸照片-素描图像，涵盖了不同年龄、性别、表情和光照条件，极大地丰富了数据多样性。OS-Sketch的推出为人脸素描合成领域提供了一个更为真实和全面的评估基准，推动了生成扩散模型在该领域的应用。

当前挑战

OS-Sketch数据集面临的挑战主要包括两方面：领域问题的挑战和构建过程的挑战。在领域问题方面，传统人脸素描合成方法依赖于大量成对数据训练，而OS-Sketch旨在解决数据稀缺情况下的一样本学习问题，这对模型的泛化能力提出了极高要求。在构建过程中，数据集需要收集和标注多样化风格的素描图像，包括从互联网获取的非传统风格素描，这对数据质量和一致性提出了挑战。此外，确保照片与素描在像素级对齐以及处理复杂背景下的图像也是构建过程中的技术难点。

常用场景

经典使用场景

One-shot Face Sketch Dataset (OS-Sketch) 主要用于单样本学习场景下的人脸素描合成研究。该数据集通过提供400对具有多样化风格和背景的人脸照片-素描图像对，为研究者提供了一个全面评估模型在单样本训练下泛化能力的平台。经典使用场景包括在仅使用一对训练样本的情况下，测试模型对具有不同背景、年龄、性别、表情和光照条件的照片的素描合成能力。

解决学术问题

OS-Sketch 解决了传统人脸素描合成方法依赖大规模训练数据的问题。通过引入单样本学习范式，该数据集显著降低了数据需求和人工标注成本。其核心学术价值在于探索扩散模型在极端数据稀缺条件下的生成能力，并为分布外（OOD）泛化研究提供了标准化测试基准。该工作突破了传统生成对抗网络在少样本场景下的性能瓶颈，推动了基于提示学习的生成模型发展。

实际应用

在实际应用中，该数据集支持执法领域的嫌疑人画像生成、数字娱乐行业的艺术创作辅助等场景。其单样本学习特性特别适合现实世界中样本稀缺的应用环境，如法医素描师可根据目击者描述的单一参考画像，快速生成多种风格的嫌疑人素描。社交媒体滤镜开发也可利用该技术实现低成本的个性化艺术效果生成。

数据集最近研究

最新研究方向

近年来，One-shot Face Sketch Dataset (OS-Sketch) 在计算机视觉领域引起了广泛关注，特别是在人脸素描合成技术方面。该数据集通过结合生成扩散先验和指令调优，实现了在单样本训练条件下的高质量素描合成。这一技术突破不仅解决了传统方法在数据稀缺和高人力成本方面的局限性，还为真实场景下的应用提供了更广泛的适用性。OS-Sketch 数据集包含400对具有多样化风格和背景的人脸照片-素描图像，为研究者提供了一个全面评估模型性能的基准。该数据集的出现，推动了人脸素描合成技术向更高效、更灵活的方向发展，并在数字多媒体和安全领域展现出巨大的应用潜力。

相关研究论文

• One-shot Face Sketch Synthesis in the Wild via Generative Diffusion Prior and Instruction Tuning

  广东工业大学, 中国 · 2025年