FlintstonesHD

我们提出了nuwa-xl，这是一种新颖的扩散结构，用于生成极长的视频。目前大多数工作都是逐段顺序生成长视频，这通常会导致短视频训练和推断长视频之间的差距，并且顺序生成效率低下。相反，我们的方法采用 “从粗到细” 的过程，其中可以以相同的粒度并行生成视频。应用全局扩散模型以在整个时间范围内生成关键帧，然后局部扩散模型递归地填充附近帧之间的内容。这种简单而有效的策略允许我们直接对长视频 (3376帧) 进行训练，以减少训练-推理差距，并可以并行生成所有片段。为了评估我们的模型，我们构建了FlintstonesHD数据集，这是长视频生成的新基准。实验表明，我们的模型不仅生成具有全局和局部相干性的高质量长视频，而且在生成1024帧时，在相同的硬件设置下，平均推理时间从7.55分钟减少到26秒 (94.26%)。