Text-to-Film-Bench (T2F-Bench)
收藏资源简介：
Text-to-Film-Bench (T2F-Bench) 是一个全面的基准测试，专为叙事驱动、多镜头的AI视频生成而设计。该数据集包含100个高质量提示，源自标志性的电影场景，并通过Gemini转化为专业剧本。该基准测试评估AI模型作为“导演”的能力，将复杂剧本转化为连贯、具有电影感和情感共鸣的长视频。
Text-to-Film-Bench (T2F-Bench) is a comprehensive benchmark specifically designed for narrative-driven, multi-shot AI video generation. This dataset contains 100 high-quality prompts sourced from iconic film scenes, which are converted into professional screenplays via Gemini. This benchmark evaluates the ability of AI models to act as "directors" to convert complex screenplays into coherent, cinematic and emotionally resonant long-form videos.
Text-to-Film-Bench (T2F-Bench) 数据集概述
数据集简介
Text-to-Film-Bench (T2F-Bench) 是一个专为叙事驱动、多镜头AI视频生成设计的综合性基准测试。该基准测试将焦点从简短的描述性片段转向叙事性，旨在评估AI模型作为“导演”将复杂剧本转化为连贯、具有电影感且能引起情感共鸣的长视频的能力。
数据集内容
数据集包含 100个高质量提示，这些提示源自标志性的电影场景，并由Gemini转化为专业的剧本。核心数据文件为 AI-Film-Eval-Prompt.csv，其中包含了用于模型输入的多镜头剧本提示。
评估框架
评估从一个制片人审核AI生成的电影（多镜头长视频） 的视角进行，包含五个维度的加权评估：
1. 叙事与故事一致性 [30%]
- 核心问题：“AI导演”是否成功捕捉了剧本所需的“戏剧性”？
- 评估子项：
- 情节完整性与完整性 [20%]
- 情节逻辑性 [20%]
- 元素准确性 [20%]（角色、服装/道具、环境/时间）
- 风格与基调 [20%]
- 对话与口型同步 [20%]（避免口技表演、幻影语音，确保同步）
2. 连续性与一致性 [25%]
- 核心问题：模型的“记忆”如何？是否存在现实“断裂”？
- 评估子项：
- 角色一致性 [40%]（面部、发型、服装在镜头切换间保持一致）
- 时空逻辑 [35%]（地理锚定、时间流）
- 视觉色调一致性 [25%]
3. 电影语言 [20%]
- 核心问题：镜头构图和摄像机工作是否具有意图性？
- 评估子项：
- 镜头设计 [50%]（有效使用广角、中景和特写镜头，自然过渡）
- 摄像机运动与互动 [30%]（动机、质量）
- 剪辑 [20%]（流畅的剪辑点）
4. 视觉美学与技术质量 [10%]
- 核心问题：画面是否美观（上限）且物理效果是否合理（下限）？
- 评估子项：
- 电影美学 [60%]（构图规则、灯光深度、高保真纹理）
- 技术完整性 [40%]（无伪影，如裁剪、物理谬误、渲染问题）
5. 表演与演技 [15%]
- 核心问题：角色是“活生生的灵魂”还是“木偶”？
- 评估子项：
- 面部表情与潜台词 [40%]
- 语音表演 [30%]
- 肢体表演 [30%]
评估原则
- 独立性：每个维度独立评估。高视觉质量不能弥补叙事一致性差的问题。
- 强制失败：严重故障（如“身体恐怖”扭曲、背景瞬移或口技表演）将导致该子类别自动获得最低分（1分）。
- 区分优先：在Elo比较中，应避免平局，除非两个片段确实无法区分。
使用流程
- 生成：使用
AI-Film-Eval-Prompt.csv中的剧本作为模型的输入。 - 评估：遵循上述五维框架进行人工审核。
- 基准测试：将您的结果与提供的基线进行比较。
许可证
本项目依据MIT许可证分发。更多信息请参见 LICENSE 文件。
