Face Consistency Benchmark (FCB)

该论文提出了一个名为Face Consistency Benchmark (FCB)的框架，旨在评估和比较AI生成视频中角色的连续性。FCB通过提供标准化的评估指标，突出了现有解决方案的差距，并推动了更可靠方法的发展。该框架利用了广泛采用的用于评估面部相似性和一致性的面部识别模型，如VGG-Face、Facenet等。论文评估了四种文本到视频生成模型，并使用了来自真实视频的提示生成视频，以进行公平的比较。

This paper proposes a framework named Face Consistency Benchmark (FCB) that aims to evaluate and compare the consistency of characters in AI-generated videos. FCB highlights the gaps in existing solutions by providing standardized evaluation metrics, and drives the advancement of more reliable approaches. This framework leverages widely adopted face recognition models for assessing facial similarity and consistency, such as VGG-Face, Facenet, and other similar models. The paper evaluates four text-to-video generation models, and generates videos using prompts derived from real-world videos to facilitate fair comparative assessments.

搜集汇总

数据集介绍

构建方式

在人工智能视频生成领域，Face Consistency Benchmark (FCB) 的构建采用了严谨的标准化流程。该数据集通过精选四种主流文本到视频生成模型（包括HunyuanVideo、Vchitect-2.0等），基于统一提示词生成30个视频样本。所有视频分辨率统一调整为720×720，并采用六种先进人脸识别模型（如VGG-Face、ArcFace等）进行面部特征提取。评估过程创新性地设计了两种比对模式：代表性帧对比模式和随机帧对模式，通过计算面部嵌入向量的余弦距离来量化一致性。为增强可比性，研究团队还纳入了真实视频作为基准参照。

特点

FCB数据集的核心价值在于其针对性的评估维度设计。区别于传统视频生成基准测试对运动质量和时间一致性的关注，该数据集专门聚焦人物面部特征的跨帧一致性这一关键指标。数据集包含两个独特的评估维度：通过与代表帧的相似度衡量面部准确性，以及通过随机帧对比较评估时间连贯性。六种不同架构的人脸识别模型构成了多角度的评估体系，而精心设计的多样化测试样本（涵盖不同性别、年龄和光照条件）确保了评估的全面性。特别值得注意的是，数据集通过严格的帧筛选机制（跳过不可检测面部帧）保证了评估的有效性。

使用方法

FCB数据集为研究人员提供了系统化的评估框架。使用前需配置DeepFace库环境并加载预训练的人脸识别模型。实际操作中，用户首先需按照标准格式输入待测视频，系统会自动执行面部检测和特征提取。评估过程支持两种模式选择：模式一将各帧与代表帧进行相似度计算，模式二则随机抽取200对帧进行内部一致性分析。输出结果包含各模型在不同人脸识别算法下的余弦距离矩阵，用户可通过与内置真实视频基准数据的横向对比，客观评估模型的性能表现。该数据集特别适用于改进文本到视频生成模型的面部一致性能力，其结果可直观反映模型在身份特征保持和表情连贯性方面的优劣。

背景与挑战

背景概述

随着人工智能技术的迅猛发展，AI视频生成技术已能够创造出高度动态和逼真的内容，广泛应用于娱乐、广告和教育等领域。然而，在视频序列中保持角色面部一致性仍是一个重大挑战，现有模型难以确保角色外观和属性的连贯性。2025年，TCL Research Europe和TCL Research America的研究团队提出了面部一致性基准（Face Consistency Benchmark, FCB），旨在评估和比较AI生成视频中角色面部的连贯性。该基准通过标准化指标，揭示了现有解决方案的不足，并推动了更可靠方法的发展，对提升AI视频生成技术的角色一致性具有重要意义。

当前挑战

FCB数据集主要解决AI视频生成中角色面部一致性的问题，其核心挑战包括：1) 现有模型在生成视频时难以保持角色面部特征的连贯性，导致视觉不一致，影响内容质量和可用性；2) 构建过程中需处理多样化的角色属性（如性别、年龄和光照条件）以及复杂的运动动态（如头部旋转和垂直运动），这对数据集的多样性和评估的全面性提出了较高要求；3) 评估框架需整合多种先进的面部识别模型（如VGG-Face、ArcFace等），并确保其在标准化分辨率下的可比性，这对技术实现和计算资源提出了挑战。

常用场景

经典使用场景

在人工智能视频生成领域，Face Consistency Benchmark (FCB) 数据集被广泛应用于评估和比较不同模型在生成视频时保持角色面部一致性的能力。通过标准化的面部相似度度量，FCB为研究人员提供了一个客观的工具，用于分析模型在生成复杂动态场景中的表现。这一数据集特别适用于需要高精度角色一致性的应用，如影视制作、虚拟现实和游戏开发。

实际应用

FCB数据集的实际应用场景涵盖了多个行业。在影视制作中，它可用于优化虚拟角色的生成质量，确保角色在不同镜头中的一致性。在广告行业，该数据集帮助生成更具吸引力的品牌代言人视频。此外，教育领域也可利用FCB提升虚拟教师的生成效果，增强学习体验。这些应用展示了FCB在提升AI生成视频实用性和商业价值方面的潜力。

衍生相关工作

FCB数据集的推出催生了一系列相关研究，包括改进面部特征提取算法和增强时间一致性的新方法。例如，基于FCB的评估结果，研究者开发了更高效的面部嵌入模型，用于提升生成视频的质量。此外，FCB还启发了多角色一致性基准测试的构建，进一步扩展了AI视频生成的研究边界。这些衍生工作共同推动了该领域的快速发展。