CATER-GENs

CATER-GEN-v1是一个更简单的版本，它由两个对象 (锥形和告密者) 和一个大的 “桌子” 平面继承自CATER。存在四个原子动作: “旋转”，“包含”，“选择位置” 和 “滑动”。每个视频随机包含一个或两个动作。在生成描述时，我们设计一个预定义的句子模板来填充主题、动作和可选对象。还为动作 “拾取位置” 和 “滑动” 提供了最终位置。通过使用精确的坐标或象限区域指定最终位置，分别为确定性和多样化视频生成提供了明确的描述和模棱两可的描述。
CATER-GEN-v2是一个更复杂的数据集，每个视频中包含3〜8个对象。每个对象都有4个属性，这些属性是从五种形状，三种尺寸，九种颜色和两种材质中随机选择的。原子作用与CATER-GEN-v1相同。为了在文本描述中产生歧义，我们不仅替换了最终坐标，而且随机丢弃了每个对象的属性，因此由于引用表达式的不确定性，该对象可能不是唯一的。

搜集汇总

背景与挑战

背景概述

CATER-GENs数据集包含两个版本：CATER-GEN-v1版本使用简单对象和预定义模板生成视频描述，而CATER-GEN-v2版本则更复杂，涉及多个对象及其属性，并引入歧义性以增强多样性。该数据集由武汉大学和微软亚洲研究院于2022年发布，用于可控图像到视频生成任务。