mozci/tinysketch

该数据集用于训练Sketch Scene文本到图像模型，是第一个自由手绘场景草图数据集，包含约10,000个自由手绘场景矢量草图，每个草图都附有文本描述。数据集中的每一行包含`image`和`text`两个键，分别表示图像和文本描述。

This dataset is designed for training the Sketch Scene text-to-image model, and it is the first free-hand drawn scene sketch dataset. It comprises approximately 10,000 free-hand drawn scene vector sketches, each paired with a corresponding textual description. Each row in the dataset contains two keys: `image` and `text`, which respectively represent the sketch image and the textual description.

原始信息汇总

数据集概述

基本信息

• 许可证: cc-by-nc-sa-4.0
• 语言: 英语
• 语言创建者: 机器生成
• 多语言性: 单语种
• 数据集名称: Sketch Scene Descriptions
• 数据集大小: n<10K
• 源数据集: FS-COCO
• 任务类别: 文本到图像

数据集描述

• 内容: 该数据集包含约10,000个自由手绘场景矢量草图，由100名非专业人士绘制，每个草图带有逐点时空信息，并提供对象级和场景级抽象。每个草图都附有文本描述。
• 数据结构: 每行数据包含image和text键。image是可变大小的PIL jpeg图像，text是伴随的文本描述。
• 数据分割: 仅提供训练集分割。

引用信息

• 引用格式:

  @inproceedings{fscoco, title={FS-COCO: Towards Understanding of Freehand Sketches of Common Objects in Context.}, author={Chowdhury, Pinaki Nath and Sain, Aneeshan and Bhunia, Ayan Kumar and Xiang, Tao and Gryaditskaya, Yulia and Song, Yi-Zhe}, booktitle={ECCV}, year={2022} }

搜集汇总

数据集介绍

构建方式

在计算机视觉与图形学领域，草图理解的研究正逐步从单一对象扩展至复杂场景。该数据集的构建依托于FS-COCO数据集，通过邀请百名非专业绘画者，在限定时间内绘制自由手绘场景草图，并记录每笔的空间与时间信息。这些草图以矢量形式保存，同时辅以文本描述，最终形成了包含近万条样本的集合，为场景级草图分析提供了结构化数据支持。

使用方法

在应用层面，该数据集主要服务于文本到图像的生成模型训练，尤其适用于草图场景的理解与合成任务。用户可通过加载数据集中的图像与文本键值对，直接获取配对的草图及其描述。由于仅提供训练分割，研究者可将其用于模型预训练或微调，以提升模型对场景草图的语义解析与生成能力，推动草图生成技术在创意设计等领域的实用化进展。

背景与挑战

背景概述

在计算机视觉与图形学交叉领域，手绘草图理解一直是连接人类创意表达与机器智能的关键桥梁。2022年，由Pinaki Nath Chowdhury、Aneeshan Sain等研究人员在ECCV上提出的FS-COCO数据集，标志着场景草图研究的重要突破。该数据集作为首个面向自由手绘场景草图的公开资源，由100名非专业参与者绘制约10,000幅矢量草图，每幅草图均附带时空点信息与文本描述，旨在推动草图生成、场景理解及人机交互等核心研究方向。其基于CC-BY-NC-SA-4.0协议发布，不仅填补了场景级草图数据的空白，更为文本到图像生成模型提供了富含抽象语义的训练基础，对视觉内容创作与交互设计领域产生了深远影响。

当前挑战

该数据集致力于解决场景草图文本到图像生成的复杂问题，其核心挑战在于如何准确捕捉人类手绘中高度抽象与多样化的视觉概念，并建立草图与自然语言描述之间的鲁棒映射关系。在构建过程中，研究团队面临多重困难：一是确保草图在有限时间内既能传达场景内容，又适应不同绘画技能水平的参与者，这要求平衡绘制效率与表现力；二是标注过程中需精确记录每幅草图的矢量点序列与时空信息，以保留绘制动态特征，增加了数据采集与处理的复杂度；三是场景草图的抽象层级多变，从物体细节到整体布局均存在显著差异，为模型学习一致的表征带来了挑战。

常用场景

经典使用场景

在计算机视觉与图形学领域，草图理解研究长期受限于对象级草图的局限，而Tinysketch数据集通过提供自由手绘场景草图及其文本描述，为场景级草图生成与理解奠定了数据基础。该数据集最经典的使用场景在于训练文本到图像的生成模型，特别是针对草图场景的生成任务，研究人员利用其丰富的矢量草图与对应文本标注，能够开发出能够根据自然语言描述自动生成连贯场景草图的算法，推动草图生成技术从单一对象向复杂场景的演进。

解决学术问题

Tinysketch数据集主要解决了草图研究中场景级抽象缺失的核心学术问题。传统草图数据集多聚焦于孤立对象，难以支撑对场景布局、对象间关系及空间上下文的理解。该数据集通过提供包含时空信息的矢量场景草图，使得研究社区能够深入探索场景草图的语义表示、跨模态对齐（文本与草图）以及草图的结构化生成。其意义在于突破了草图分析的对象边界，为理解人类如何快速、抽象地描绘复杂视觉场景提供了关键数据支撑，促进了认知科学与计算机视觉的交叉研究。

实际应用

从实际应用视角审视，Tinysketch数据集在创意辅助设计与人机交互领域展现出显著价值。基于该数据集训练的模型，可集成于数字绘画或设计软件中，实现通过文本提示快速生成场景草图草稿，极大提升概念设计阶段的效率。在教育领域，它能辅助绘画教学，提供可视化的场景构图参考。此外，在无障碍技术中，该技术有助于将文本描述转换为视觉草图，为视障用户提供一种新的环境感知方式，体现了技术的人文关怀与应用潜力。

数据集最近研究

最新研究方向

在计算机视觉与文本生成交叉领域，Sketch Scene Descriptions数据集正推动着场景草图理解的前沿探索。该数据集基于FS-COCO构建，聚焦于自由手绘场景草图的语义解析，其核心价值在于将传统对象级草图研究扩展至复杂场景层面。当前研究热点集中于利用多模态学习框架，结合草图的空间-时间矢量信息与文本描述，以提升场景内容生成与理解的鲁棒性。这一方向不仅促进了草图到图像生成模型的精细化发展，还为即时创意表达、无障碍交互设计等应用提供了关键技术支撑，在数字艺术与智能设计领域展现出深远影响。