LIFT-HRA

LIFT-HRA数据集由复旦大学和上海人工智能科学研究院创建，旨在通过人类反馈优化文本到视频生成模型的对齐。该数据集包含约10,000条标注，每条标注包括评分和相应的理由，涵盖语义一致性、运动平滑度和视频保真度三个维度。数据集的创建过程包括视频文本对的生成、人类标注和数据清洗。LIFT-HRA主要应用于改进文本到视频生成模型的质量和对齐度，解决模型输出与人类期望之间的偏差问题。

The LIFT-HRA dataset was developed by Fudan University and Shanghai Institute of Artificial Intelligence Sciences, aiming to optimize the alignment of text-to-video generation models via human feedback. This dataset contains approximately 10,000 annotations, each consisting of a score and corresponding rationale, covering three dimensions: semantic consistency, motion smoothness, and video fidelity. The dataset creation process includes the generation of video-text pairs, human annotation, and data cleaning. LIFT-HRA is primarily used to improve the quality and alignment of text-to-video generation models, addressing the discrepancy between model outputs and human expectations.

搜集汇总

数据集介绍

构建方式

LIFT-HRA数据集的构建基于大规模的人类反馈收集，旨在为文本到视频（T2V）生成模型的对齐提供高质量的标注数据。研究团队首先通过生成多样化的视频-文本对，涵盖人类、动物、场景、动作等多个类别，并使用大型语言模型（LLM）生成详细的文本描述。随后，研究人员邀请标注者对生成的视频进行评估，重点关注语义一致性、运动平滑度和视频保真度三个维度，并为每个评估提供详细的评分理由。最终，通过多阶段的清洗和校正流程，确保数据集的高质量和可靠性，形成了包含约10,000条人类反馈标注的LIFT-HRA数据集。

特点

LIFT-HRA数据集的核心特点在于其丰富的标注信息和多维度的评估标准。与传统的视频质量评估数据集不同，LIFT-HRA不仅包含视频的评分，还详细记录了每个评分的理由，从而为奖励模型的训练提供了更深层次的解释性。此外，数据集涵盖了多个类别和场景，确保了其广泛的应用性和泛化能力。通过这种多维度的标注方式，LIFT-HRA能够更好地捕捉人类对视频生成的主观偏好，为T2V模型的对齐提供了强有力的支持。

使用方法

LIFT-HRA数据集主要用于训练奖励模型LIFT-CRITIC，该模型通过学习人类反馈的评分和理由，能够有效评估T2V生成视频的质量。使用时，首先将数据集分为训练集和验证集，用于训练和优化奖励模型。随后，奖励模型可以用于评估T2V生成视频的语义一致性、运动平滑度和视频保真度，并通过奖励加权学习（RWL）方法对T2V模型进行微调，使其生成结果更符合人类偏好。此外，LIFT-HRA还可以用于其他基于人类反馈的视频生成任务，如视频质量评估和生成模型的对齐研究。

背景与挑战

背景概述

近年来，文本到视频（T2V）生成模型取得了显著进展，但这些模型在将生成的视频与人类偏好对齐方面仍存在不足，尤其是在准确反映文本描述方面。为了解决这一问题，复旦大学、上海人工智能科学研究院以及澳大利亚机器学习研究所的研究团队提出了LIFT-HRA数据集。该数据集由约10,000条人类评分和对应的解释组成，旨在通过引入人类反馈来优化T2V模型的对齐问题。LIFT-HRA数据集的构建不仅为训练奖励模型LIFT-CRITIC提供了基础，还通过捕捉人类偏好的多维度（如语义一致性、运动平滑度和视频保真度）来提升模型的解释性和对齐能力。该数据集的发布为T2V生成领域的研究提供了新的方向，尤其是在如何通过人类反馈提升视频生成质量方面。

当前挑战

LIFT-HRA数据集的构建面临多重挑战。首先，人类偏好的主观性和难以形式化为客观函数的特点使得数据集的标注过程复杂且耗时。其次，视频生成领域的多维度评估（如语义一致性、运动平滑度和视频保真度）要求标注者具备较高的专业素养，以确保评分的准确性和一致性。此外，现有的视频质量评估模型在解释性方面存在不足，无法捕捉人类评分的深层原因，这限制了模型对复杂人类偏好的理解。最后，如何有效利用人类反馈来指导T2V模型的对齐，尤其是在处理视频的时序动态和多帧连续性方面，仍是一个未完全解决的难题。这些挑战共同构成了LIFT-HRA数据集在实际应用中的主要障碍。

常用场景

经典使用场景

LIFT-HRA数据集的经典使用场景主要集中在文本到视频（T2V）生成模型的优化与对齐。通过收集大量的人类反馈标注，该数据集为训练奖励模型LIFT-CRITIC提供了丰富的数据基础，使得模型能够学习如何根据人类偏好对生成的视频进行评分，并提供详细的评分理由。这种基于人类反馈的优化方法显著提升了T2V模型在语义一致性、运动平滑度和视频保真度等方面的表现，从而生成更符合人类期望的高质量视频。

衍生相关工作

LIFT-HRA数据集的提出催生了一系列相关的经典工作，尤其是在视频生成和质量评估领域。基于该数据集，研究者们开发了LIFT-CRITIC奖励模型，该模型不仅能够预测视频的评分，还能提供详细的评分理由，从而提升了模型的解释性和对人类偏好的捕捉能力。此外，LIFT-HRA还启发了其他研究者探索如何将人类反馈更有效地整合到视频生成模型中，推动了视频生成技术的进一步发展。

数据集最近研究

最新研究方向

在文本到视频（T2V）生成模型的前沿研究中，LIFT-HRA数据集的提出为解决模型输出与人类偏好对齐的问题提供了新的思路。该数据集通过收集约10,000条包含评分和相应理由的人类反馈，构建了一个全面的反馈数据集，旨在帮助模型更好地理解人类的主观偏好。基于此，研究者训练了一个名为LIFT-CRITIC的奖励模型，该模型不仅能够预测视频质量评分，还能解释评分的理由，从而提高模型的可解释性和对人类偏好的捕捉能力。通过将该奖励模型应用于T2V模型的微调，研究展示了其在多个评估指标上的显著提升，尤其是在语义一致性、动作流畅性和视频保真度等方面。这一研究方向不仅推动了T2V生成技术的发展，还为未来基于人类反馈的生成模型优化提供了新的范式。

相关研究论文

• LiFT: Leveraging Human Feedback for Text-to-Video Model Alignment

  复旦大学、上海人工智能科学研究院、澳大利亚机器学习研究所 · 2024年