PhyCoBench

PhyCoBench是一个专门设计用于评估文本到视频（T2V）模型生成物理一致性视频的基准。该数据集由浙江大学和阿里巴巴集团创建，包含120个覆盖7类物理原理的提示，这些提示捕捉了视频内容中易于观察到的关键物理定律。数据集通过使用最新视频生成模型根据提示生成视频，旨在评估这些模型生成符合物理定律内容的能力。

PhyCoBench is a benchmark specifically designed to evaluate the physical consistency of videos generated by text-to-video (T2V) models. Developed by Zhejiang University and Alibaba Group, this dataset includes 120 prompts spanning 7 categories of physical principles, which capture the key physical laws readily observable in video content. Videos are generated from these prompts using state-of-the-art video generation models, with the core objective of assessing the ability of these models to produce content that adheres to physical laws.

搜集汇总

数据集介绍

构建方式

PhyCoBench数据集的构建方式是通过将常见的物理现象分为七种类型，并创建了一个全面的提示集。利用这些提示，使用四种T2V模型生成了测试集视频，并进行了人工排名。同时，引入了PhyCoPredictor，这是一个基于光流引导的帧预测模型，用于自动评估。使用测试集中每个视频的第一帧和相应的提示作为输入，使用PhyCoPredictor生成参考光流和视频。将这些与测试集视频及其计算出的光流进行比较，产生分数以排名模型性能。相关性分析表明，我们的自动评估结果与人类偏好密切相关。

特点

PhyCoBench数据集的特点是它包括了120个提示，涵盖了七种物理原理类别，捕捉了视频内容中易于观察的关键物理定律。此外，PhyCoBench还包括了一个自动评估工具PhyCoPredictor，以及生成的视频数据集。PhyCoPredictor是一个扩散模型，以级联方式生成光流和视频帧。通过将自动评估结果与手动排序的一致性评估，实验结果表明，PhyCoPredictor目前与人类评估最为一致，因此它可以有效地评估视频的物理一致性，为未来模型的优化提供见解。

使用方法

PhyCoBench数据集的使用方法是将生成的视频与PhyCoPredictor生成的参考光流和视频进行比较，以评估视频的物理一致性。首先，使用测试集中每个视频的第一帧和相应的提示作为输入，使用PhyCoPredictor生成参考光流和视频。然后，将生成的视频与测试集视频及其计算出的光流进行比较，产生分数以排名模型性能。最后，通过计算Kendall’s Tau-b系数和Spearman’s Rank Correlation系数来比较模型排名结果与手动评估的一致性。

背景与挑战

背景概述

PhyCoBench是一个专门设计用于评估文本到视频(T2V)模型在生成物理上连贯的视频方面的基准。该数据集由陈永凡、朱秀文、李天宇和陈浩等人于2025年2月8日发布，旨在解决视频生成模型在遵循物理定律方面的挑战。PhyCoBench包括120个涵盖七个物理原理类别的提示，涵盖了视频内容中可观察到的关键物理定律。研究人员使用这些提示生成了测试集视频，并使用PhyCoPredictor模型进行了人工评估。该数据集对于视频生成模型的研究和评估具有重要意义，为未来的模型优化提供了参考。

当前挑战

PhyCoBench数据集面临的挑战包括：1)视频生成模型在遵循物理定律方面存在困难，这是当前视频生成模型的主要关注点之一；2)现有的视频生成基准未能评估视频内容的物理一致性，导致视觉上吸引人的内容但物理上不可信的内容获得高分；3)现有的数据集缺乏负样本，阻碍了模型学习异常情况的先验知识。为了解决这些问题，研究人员提出了一个名为PhyCoPredictor的光流引导视频帧预测模型，用于检测异常情况并预测未来帧。实验结果表明，PhyCoPredictor能够有效预测动态场景中的光流和视觉内容，从而与现有的视频生成模型进行比较，以评估物理一致性。

常用场景

经典使用场景

PhyCoBench数据集是专门为评估视频生成模型在生成物理一致的视频方面的能力而设计的。它包含了七个类型的物理场景，分别为重力、碰撞、振动、摩擦、流体动力学、抛物运动和旋转，每个场景都有相应的文本提示。这些提示涵盖了从模拟物理实验到日常生活中的常见物理现象，以及运动场景中的物体运动。通过这些提示，我们使用四种最先进的文本到视频（T2V）模型生成测试集视频，并进行了人工排序。此外，我们还介绍了PhyCoPredictor，一个基于光流引导的帧预测模型，用于自动评估。使用测试集中每个视频的第一帧和相应的提示作为输入，我们使用PhyCoPredictor生成参考光流和视频。这些光流和视频与测试集视频及其计算出的光流进行比较，产生评分以排名模型性能。相关性分析表明，我们的自动评估结果与人类偏好密切相关。

实际应用

PhyCoBench数据集在实际应用中具有广泛的应用前景。它可以用于评估和优化视频生成模型的物理一致性，从而生成更加真实和可信的视频内容。此外，PhyCoPredictor模型还可以用于视频异常检测，通过预测未来帧来检测视频中的异常情况。这对于视频监控、视频编辑和视频合成等领域具有重要的意义。

衍生相关工作

PhyCoBench数据集的提出和应用，为视频生成和评估领域带来了新的研究方向。基于PhyCoBench的评估方法和PhyCoPredictor模型，可以进一步研究如何提高视频生成模型的物理一致性，以及如何更好地评估视频生成模型的质量。此外，PhyCoBench还可以与其他视频生成基准相结合，形成一个更加全面和有效的视频生成评估体系。