VidSketch

用于训练VidSketch模型的小规模高质量视频数据集，按照动作类别进行分类。

A small-scale, high-quality video dataset for training the VidSketch model, categorized by action categories.

原始信息汇总

VidSketch 数据集概述

数据集简介

VidSketch是一个高质量的小规模视频数据集，用于训练生成高质量视频动画的模型。该数据集包含了不同动作类别的视频，例如物体移动、人们跳舞等，旨在通过手绘草图和简单文本提示生成视频动画。

数据集特点

• 高质量小规模视频：数据集由高质量的小规模视频组成，便于训练和优化。
• 动作类别：包含多种动作类别的视频，以适应不同的视频生成需求。

使用说明

• 依赖与安装：需要克隆仓库、创建虚拟环境并安装相关依赖。
• 权重与数据：提供了预训练权重和微调权重，以及从Google Drive下载的训练数据。
• 训练与推理：提供了训练和推理的命令行示例。

数据集获取

• 预训练权重：从Google Drive链接下载。
• 微调权重：同样从Google Drive链接下载。
• 训练数据：从Google Drive链接或GitHub仓库中的sketch目录获取。

许可

• 数据集根据Creative Commons Attribution-NonCommercial 4.0 International许可进行发布，仅限非商业用途。

引用

在使用该数据集的研究中，请引用以下信息：

@misc{jiang2025vidsketchhanddrawnsketchdrivenvideo, title={VidSketch: Hand-drawn Sketch-Driven Video Generation with Diffusion Control}, author={Lifan Jiang and Shuang Chen and Boxi Wu and Xiaotong Guan and Jiahui Zhang}, year={2025}, eprint={2502.01101}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2502.01101}, }

搜集汇总

数据集介绍

构建方式

VidSketch数据集的构建，采用小型高质量的视频数据集，按动作类别进行筛选，并在单个RTX4090 GPU上执行训练。通过精心设计的Level-Based Sketch Control Strategy和TempSpatial Attention机制，确保了生成视频动画的时空一致性及用户绘制技能的适应性。

特点

该数据集的特点在于，它是首个能够直接从任意数量的手绘草图和简单的文本提示生成高质量视频动画的方法。此外，引入的Level-Based Sketch Control Strategy能够自动调整草图在生成过程中的引导力度，以适应不同绘画技能的用户。设计的TempSpatial Attention机制则显著提升了生成视频动画帧之间的连贯性。

使用方法

使用VidSketch数据集，用户需先下载预训练模型权重和训练数据。通过提供的脚本，用户可以输入草图序列和简单文本提示来生成定制化的高质量视频动画。训练和推理的详细步骤在官方GitHub仓库中提供，包括环境设置、权重和数据下载以及具体的命令行操作指南。

背景与挑战

背景概述

VidSketch数据集，诞生于2025年，由Lifan Jiang、Shuang Chen、Boxi Wu、Xiaotong Guan和Jiahui Zhang等研究人员提出，旨在通过手绘草图和简单的文本提示生成高质量的视频动画。该数据集的创建，填补了此前人工智能生成静态图像与视频动画生成之间的空白，为普通用户和专业艺术家之间架起了桥梁。VidSketch引入了基于级别的草图控制策略，自动调整草图在生成过程中的引导强度，以适应不同绘画技能的用户。此外，设计了一种时空注意力机制，以增强生成的视频动画的时空一致性，显著提高了帧之间的连贯性。该数据集因其创新性和实用性，在计算机视觉领域产生了广泛的影响力。

当前挑战

在研究领域，VidSketch面临的挑战主要包括：如何进一步提高视频动画的质量和真实性，以满足用户对动态视觉内容的需求；如何在保证视频连贯性的同时，处理复杂动作和场景的生成问题；以及如何优化模型训练过程，使其在有限的资源和时间内，生成更为精细和多样化的视频内容。在构建过程中，研究人员也面临着如何高效利用小型高质量视频数据集进行训练，以及如何设计有效的草图控制策略和时空注意力机制等挑战。

常用场景

经典使用场景

在视频动画生成领域，VidSketch数据集提供了一个独特的视角，即通过手绘草图和简单的文本提示生成高质量的视频动画。该数据集的经典使用场景在于，用户只需输入一系列手绘草图和文本提示，便能够生成符合需求的高质量视频动画，这一过程无需复杂的操作，极大地降低了普通用户创作视频动画的门槛。

实际应用

在实际应用中，VidSketch数据集可用于教育、娱乐和广告等领域。例如，教师可以利用该数据集帮助学生理解动画制作的过程；动画设计师可以使用它快速原型化创意；广告公司则可以运用该数据集生成吸引眼球的动画广告。

衍生相关工作

VidSketch数据集的提出，激发了一系列相关研究，如基于草图的其他媒体内容生成、草图到视频的实时转换技术等。这些研究进一步扩展了VidSketch的应用边界，为用户提供更多样化的创作工具和体验。