OS-Sketch

OS-Sketch包含多种风格的素描。它不仅包括研究中使用的素描，还包括从互联网上选择的不同分布（OOD）风格的素描。此外，从互联网上选择的素描也可供研究人员进行实验研究。同时，该数据集不仅包含单一背景的传统研究照片，还包括许多野外照片。它包括不同背景、年龄、性别、表情、视角和光照的照片。为了进行稳健的不同分布评估，我们每次仅选择一对图像进行训练，其余用于推理。通过在一次性上下文中暴露模型于各种照片，可以直观地展示其性能。

The OS-Sketch dataset encompasses sketches in various styles. It not only includes sketches used in the study but also sketches of different distributions (OOD) styles selected from the internet. Additionally, the sketches selected from the internet are also available for researchers to conduct experimental studies. The dataset not only contains traditional research photographs with single backgrounds but also includes numerous field photographs. It includes photographs with different backgrounds, ages, genders, expressions, perspectives, and lighting. For robust evaluation of different distributions, we select only one pair of images for training each time, with the rest used for inference. By exposing the model to a variety of photographs in a single context, its performance can be intuitively demonstrated.

原始信息汇总

OS-Sketch数据集概述

数据集简介

• 名称：OS-Sketch
• 内容：包含多样化风格的素描图像，涵盖研究用素描和网络精选的分布外(OOD)风格素描
• 特点：
  • 包含传统单背景研究照片和大量真实场景照片
  • 覆盖不同背景、年龄、性别、表情、视角和光照条件的照片
  • 采用一次性学习评估方式（每次训练仅使用一对图像）

数据集组成

1. 网络艺术家作品：40对照片-素描对（来自业余艺术家和博主）
2. CUFS数据集：100对（简单彩色背景人脸素描）
3. CUFSF数据集：110对（暗光背景）
4. WildSketch数据集：150对（真实场景）

数据获取方式

1. 主下载链接：Google Drive（完整数据集）
2. 补充下载：CUFSF部分数据需从MMLab官网独立获取（文件范围：00043fb001d_931230.jpg至00152fa001d_931230.jpg）
3. 预处理工具：
   • 面部标志检测模型："shape_predictor_68_face_landmarks.dat"
   • 对齐脚本：Sketch2Photo_Alignment.py
   • 对比度标准化脚本：sketch_contrast_normalizer.py

数据使用条款

• 授权类型：仅限非商业研究用途
• 版权声明：网络来源图像版权不属于数据集创建者
• 禁止行为：
  • 任何商业用途
  • 数据集的复制、发布或再分发（允许同一组织内部单站点使用）
• 终止条款：数据集创建方保留随时终止访问的权利

原始数据保留

• 原始网络来源素描保存在original-ood-sketches文件夹中

搜集汇总

数据集介绍

构建方式

OS-Sketch数据集通过多源异构数据整合构建而成，涵盖艺术创作与真实场景的多样化样本。其构建过程采用分层抽样策略，从四个不同来源精选图像对：40对来自网络艺术家博客的原创手绘作品，100对源自CUFS数据集的单色背景人脸素描，110对取自CUFSF数据集的暗光环境样本，以及150对WildSketch自然场景图像。为确保分布外评估的严谨性，采用独特的一对训练样本轮换机制，每次仅保留单对数据用于训练，其余全部作为测试集。

特点

该数据集最显著的特征在于其风格与场景的多元异构性。不仅包含实验室环境下的标准素描-照片配对，更整合了网络收集的分布外风格手绘作品。图像样本覆盖不同年龄、性别、表情、拍摄视角及光照条件，特别包含复杂背景的真实场景照片。所有素描均经过对比度归一化处理，形成统一的黑白灰度图像，同时保留原始网络素描副本供对比研究。这种设计使数据集兼具方法验证的严谨性与现实应用的挑战性。

使用方法

使用前需通过指定链接获取数据集压缩包及面部特征点检测模型。预处理阶段需运行Sketch2Photo_Alignment.py完成素描-照片对齐，再通过sketch_contrast_normalizer.py进行素描灰度标准化。评估时默认采用处理后的高对比度素描，若需原始网络素描可访问original-ood-sketches文件夹。特别注意部分CUFSF数据需独立获取版权许可，测试集应严格限定在00043fb001d至00152fa001d编号范围内。所有使用需遵守非商业研究协议。

背景与挑战

背景概述

OS-Sketch数据集由HanWu3125团队构建，旨在为素描与照片匹配研究提供多样化的数据支持。该数据集整合了来自在线业余艺术家、博主以及多个经典素描数据集（如CUFS和CUFSF）的样本，同时引入了互联网采集的分布外（OOD）风格素描，以增强模型的泛化能力。其核心研究问题聚焦于跨域视觉表征学习，特别是在单样本条件下实现素描与真实照片的精准对齐。数据集包含40组网络采集对、100组CUFS简单背景对、110组CUFSF暗光背景对及150组WildSketch自然场景对，通过多维度变量（背景、年龄、性别等）的系统性覆盖，推动了人脸跨模态识别领域的算法鲁棒性评估。

当前挑战

该数据集主要应对两大挑战：在领域问题层面，传统素描-照片匹配模型易受风格差异和背景干扰影响，OS-Sketch通过引入OOD样本和自然场景数据，迫使模型克服跨域分布偏移与复杂环境噪声；在构建过程中，需解决多源数据对齐的技术难题，包括采用68点人脸关键点检测进行跨模态配准，以及通过对比度归一化处理消除素描作品的色调差异。版权限制亦构成特殊挑战，部分数据需研究者独立从原始机构获取，且互联网采集样本的合法性要求非商业用途的严格约束。

常用场景

经典使用场景

在计算机视觉领域，OS-Sketch数据集因其多样化的素描风格和真实世界照片的丰富性，成为评估和开发素描到照片转换算法的理想选择。其经典使用场景包括训练和测试跨模态生成模型，特别是在少样本学习环境下，模型需要从极少数样本中学习到素描与照片之间的复杂映射关系。数据集中的多样化背景、光照条件和人物特征，为模型提供了全面的测试环境，确保评估结果的广泛适用性。

实际应用

在实际应用中，OS-Sketch数据集为安全监控、数字娱乐和法医学等领域提供了重要支持。例如，在安全监控中，素描到照片的转换技术可以帮助执法部门根据目击者的描述生成嫌疑人照片；在数字娱乐领域，该技术可以用于游戏角色设计或动画制作。数据集中包含的多样化样本确保了模型在真实场景中的实用性，能够适应不同光照、角度和背景条件。

衍生相关工作

OS-Sketch数据集已经衍生出多项经典研究工作，特别是在少样本学习和跨模态生成领域。例如，基于该数据集的生成对抗网络（GANs）和变分自编码器（VAEs）模型在素描到照片转换任务中取得了显著进展。此外，该数据集还被用于研究非分布数据的泛化问题，推动了领域自适应和迁移学习技术的发展。这些工作不仅验证了数据集的实用性，还进一步拓展了其在计算机视觉中的应用范围。