VPO

VPO数据集是一个面向视频生成模型提示优化的原理驱动框架，旨在生成无害、准确、有助于高质量视频生成的提示。该数据集包含10k个样本，分为用于基础提示优化能力增强的SFT子集和用于特定视频模型偏好学习的DPO子集。所有数据均为英文。

搜集汇总

数据集介绍

构建方式

在视频生成模型训练与推理的鸿沟之间，VPO数据集通过原则驱动框架构建，旨在生成无害、准确且富有助益的提示词以提升视频生成质量。该数据集包含由GPT-4生成的10,000个监督微调(SFT)样本，并基于CogVideoX-2B和CogVideoX-5B模型衍生出偏好优化(DPO)子集。原始提示词来源于VidProM数据集，通过多阶段筛选与优化流程确保数据质量。

使用方法

研究者可依据不同训练目标灵活选用数据集子集：SFT数据适用于构建基础提示优化模型，通过监督学习提升生成质量；DPO数据则用于微调阶段，通过对比学习优化模型偏好。使用时应加载标准格式数据至LLaMA-Factory框架，结合视频生成模型进行端到端训练。为充分发挥数据效能，建议参照原始论文所述方法进行多阶段训练策略设计。

背景与挑战

背景概述

随着视频生成模型的快速发展，如何优化提示词以提升生成视频的质量成为关键挑战。VPO数据集由清华大学合作人工智能研究院（THU-COAI）于近期发布，旨在通过原则驱动的方法生成无害、准确且有效的提示词，从而弥合视频生成模型训练与推理之间的鸿沟。该数据集包含1万条由GPT-4o构建的监督微调（SFT）样本，以及基于CogVideoX-2B和CogVideoX-5B生成的偏好优化（DPO）数据，为视频生成领域的提示词优化研究提供了重要资源。

当前挑战

视频生成领域面临的核心挑战在于如何设计能够精确控制生成内容质量的提示词。VPO数据集针对这一问题，需解决生成提示词的多样性、准确性与无害性之间的平衡。在构建过程中，研究人员需克服大规模高质量视频提示词数据的稀缺性，以及如何有效整合视频级和文本级反馈以优化模型偏好的技术难题。此外，确保生成的提示词在不同视频生成模型中的泛化能力，也是该数据集面临的重要挑战。

常用场景

经典使用场景

在视频生成领域，VPO数据集通过其精心设计的提示优化框架，为研究者提供了丰富的训练样本。这些样本不仅覆盖了多样化的视频生成需求，还特别注重提示的准确性、无害性和实用性，使得该数据集成为优化视频生成模型提示策略的首选资源。

解决学术问题

VPO数据集有效解决了视频生成模型中训练与推理阶段不匹配的学术难题。通过提供高质量的提示优化数据，该数据集帮助研究者提升了生成视频的语义一致性和视觉质量，从而推动了视频生成技术的理论进展。其基于GPT-4o构建的SFT子集和针对特定视频模型的DPO训练数据，为偏好学习提供了可靠的基础。

实际应用

在实际应用中，VPO数据集被广泛用于优化商业视频生成平台的提示策略。内容创作者借助该数据集生成的优化提示，能够更高效地获得符合预期的视频输出，显著提升了视频制作的效率和质量。教育、娱乐和广告等领域均从中受益。

数据集最近研究

最新研究方向

随着生成式人工智能技术的迅猛发展，视频生成领域对高质量提示词的需求日益凸显。VPO数据集的推出为视频生成模型的提示词优化提供了系统化解决方案，其基于GPT-4构建的监督微调数据集和源自CogVideoX模型的DPO数据集，正在推动两个关键研究方向：一是探索多模态提示词与视频生成质量的映射关系，通过细粒度的文本-视频对齐研究提升生成内容的语义准确性；二是开发基于特定视频模型的偏好学习框架，结合视频级和文本级反馈机制优化生成效果。该数据集与VidProM等基准资源的关联性，为研究社区提供了跨数据集比较的新维度，特别是在处理生成内容的安全性、准确性和实用性等核心挑战方面展现出独特价值。