ltx-community/sketch-to-video-dataset

这是一个用于IC-LoRA训练的草图到现实视频数据集。数据集包含15个来自`linoyts/repo-to-space-example-videos`（CC0许可）的视频片段，每个片段都配有一个自动生成的粗糙儿童绘画线条草图（`*_reference.mp4`）作为IC-LoRA控制。数据集以训练器格式`dataset.json`提供，包含`media_path`、`caption`和`reference_video`字段，用于训练LoRA模型学习从草图生成逼真视频。注意：宽场景（如冲浪、风景）会产生稀疏草图，建议删除这些场景以获得更清晰的演示效果。This is a sketch-to-realistic video dataset designed for IC-LoRA training. The dataset includes 15 video clips sourced from `linoyts/repo-to-space-example-videos` (licensed under CC0), each paired with an automatically generated rough line sketch in the style of children's drawings (`*_reference.mp4`) serving as the IC-LoRA control signal. The dataset is provided as `dataset.json` in the format compatible with standard LoRA training pipelines, containing fields `media_path`, `caption`, and `reference_video` to train LoRA models to learn generating realistic videos from input sketches. Note: Wide scenes (e.g., surfing, landscapes) tend to produce sparse sketches, so it is recommended to remove such scenes for clearer demonstration results.

搜集汇总

数据集介绍

构建方式

该数据集源自公开视频资源库linoyts/repo-to-space-example-videos中精选的15条CC0协议视频片段。每条原始视频均经过自动化处理，生成与之对应的粗线条儿童涂鸦风格线稿，作为IC-LoRA方法的控制信号。数据集采用训练器兼容的JSON格式组织，每条记录包含视频路径、文本描述以及参考线稿视频路径，形成配对样本，用于驱动从草图到逼真视频的生成式学习。

特点

数据集以“草图至视频”为核心特色，通过将复杂场景抽象为极简线稿，构建了从粗糙手绘风格到照片级真实感的映射任务。其独到之处在于，对于冲浪、风景等宽幅场景，自动生成的线稿会呈现稀疏特征，这一特性既揭示了当前自动草图提取的局限性，也为研究者提供了筛选更优训练样本的契机，从而提升模型在密集草图场景下的表现力。

使用方法

使用者可直接加载数据集中的dataset.json文件，通过media_path获取原始视频，reference_video获取对应的线稿控制视频，并利用caption中的文本描述进行多模态条件训练。在IC-LoRA框架下，模型将以线稿序列为结构先验，学习生成富有真实感纹理与光影的视频帧。对于追求简洁演示效果的用户，建议剔除包含宽幅场景的样本，以避免稀疏草图带来的生成质量波动。

背景与挑战

背景概述

sketch-to-video-dataset诞生于2025年，由研究人员linoyts及其机构基于IC-LoRA（Image-Conditioned Low-Rank Adaptation）技术框架构建，旨在解决从手绘草图到真实感视频生成的跨模态转换问题。该数据集的创建源于对视频生成领域中精细控制与创意表达的需求，通过精心挑选15个覆盖不同场景的公共视频片段，并利用自动算法生成对应的粗线条儿童式草图作为条件控制信号，为模型提供了一对一的“草图-真实视频”学习范例。核心研究聚焦于探索如何在低参数调整条件下，实现从抽象草图到高保真视频的语义映射，其影响力体现在为视频编辑、动画制作及人机交互等应用开辟了低成本、高效率的生成路径，推动了条件视频生成技术的民主化进程。

当前挑战

sketch-to-video-dataset面临的核心挑战在于草图与真实视频间的语义鸿沟——粗糙的儿童式线条仅能捕捉场景的轮廓与运动趋势，而丢失了纹理、光影及细粒度物体形态，模型需在有限信息下重构缺失的视觉细节。具体而言，对于冲浪、景观等广角场景，自动生成的草图往往过于稀疏，导致控制信号弱化，生成的视频在内容一致性上出现偏差；此外，构建过程中草图提取算法的自动化处理难以应对复杂动态背景与多主体交互，造成部分草图-视频对的对应关系不够精准，对LoRA训练的质量与模型泛化能力构成制约。

常用场景

经典使用场景

该数据集sketch-to-video-dataset专为草图到真实感视频生成任务设计，其经典使用场景在于训练IC-LoRA模型，从粗糙的儿童涂鸦式线条草图出发，生成相应的照片级逼真视频。研究者可将数据集中每段视频与其对应的草图配对，利用参考视频作为控制信号，学习从抽象线条到动态视觉内容之间的映射关系。这一过程为条件视频生成提供了新的范式，尤其适用于需要将简单创意快速可视化的场景，如动画前期设计或概念艺术展示。

实际应用

在实际应用层面，该数据集催生了诸多创意工具与交互式平台。例如，艺术家或设计师可以在平板设备上快速绘制草图，系统随即自动生成动态场景或角色动画，从而大幅降低专业视频制作的门槛。在教育领域，教师可借助草图生成教学动画，使抽象概念具象化；在娱乐产业中，游戏或电影的概念设计阶段能通过草图快速迭代视觉效果。此外，该技术还可用于辅助视频内容修复，如从老旧手绘分镜中重建动态情节。

衍生相关工作

基于该数据集，学界已衍生出多项经典工作。最直接的是IC-LoRA（Image-Conditioned Low-Rank Adaptation）方法，其通过低秩适配器将草图作为条件注入预训练视频扩散模型，实现高效微调。后续研究进一步探索了草图风格迁移与视频编辑的结合，例如利用该数据集验证跨域控制信号的有效性，或将其作为基准评估不同草图抽象程度对生成结果的影响。此外，部分工作将其扩展至多条件生成场景，融合草图与文本标签以提升视频内容可控性。