MovieGraphs

人们对人工智能的兴趣越来越大，以构建具有社交智能的机器人。这就要求机器有能力“读懂”人们的情绪、动机和其他影响行为的因素。为了实现这一目标，我们引入了一个名为 MovieGraphs 的新数据集，它提供了电影剪辑中描绘的社交情况的详细的基于图的注释。每个图由几种类型的节点组成，以捕捉剪辑中出现的人、他们的情感和身体属性、他们的关系（即父母/孩子）以及他们之间的交互。大多数交互都与提供额外细节的主题相关联，以及提供行动动机的原因。此外，大多数交互和许多属性都基于带有时间戳的视频。我们对我们的数据集进行了彻底的分析，显示了场景的不同社会方面之间以及随着时间的推移跨场景的有趣的常识相关性。我们提出了一种用图表查询视频和文本的方法，并表明：1）我们的图表包含丰富且足够的信息来总结和定位每个场景； 2）子图允许我们在抽象级别描述情况并检索多个语义相关的情况。我们还提出了通过排序和推理社交场景来理解交互的方法。 MovieGraphs 是第一个专注于以人为中心的情况的推断属性的基准，并为社会智能 AI 代理开辟了一条令人兴奋的途径。