MovieGraphs Dataset

MovieGraphs数据集是一个用于从视频中理解以人为中心情境的数据集，包含电影场景的图结构标注、视频剪辑帧信息、镜头边界和场景边界标注。数据集提供训练/验证/测试划分，支持Python 3.10，用户需要自行获取原始视频文件

The MovieGraphs dataset is a dataset designed for human-centric scenario understanding from videos. It includes graph-structured annotations of movie scenes, video clip frame information, shot boundary annotations and scene boundary annotations. The dataset provides train/validation/test splits, supports Python 3.10, and requires users to obtain the original video files independently.

原始信息汇总

MovieGraphs 数据集概述

数据集基本信息

• 数据集名称：MovieGraphs Dataset
• 发布会议：CVPR 2018
• 相关论文：MovieGraphs: Towards Understanding Human-Centric Situations from Videos
• 项目主页：https://moviegraphs.cs.toronto.edu/

版本更新历史

• 2019年3月：原始版本（Python 2.7，通过邮件分享）
• 2025年6月：Python 3.10支持版本

数据集文件结构

电影相关文件

• dvds.txt：Amazon DVD链接
• movies_list.txt：电影列表
• split.json：训练/验证/测试集划分

视频场景命名规范

• xxx：场景ID（从1开始）
• yyyy：场景xxx的起始镜头（从1开始）
• zzzz：场景xxx的结束镜头
• moviegraphs_startend_frames：每个电影场景片段的起始帧和结束帧（压缩包）
• shot boundaries (videvents) and scene GT boundaries：镜头边界和场景真实边界

2025年6月更新版本

py3loader_new目录

• all_movies.pkl：包含解析图标注的主pickle文件
• GraphClasses.py：ClipGraph和MovieGraph Python类主文件
• startup.py：确保正确设置的测试文件
• tutorial.ipynb：测试GraphClasses.py功能的教程笔记本

nx_code目录

• 从networkx=1.10复制和更新的必要文件

视频数据说明

• 完整视频：不共享，需通过dvds.txt中的DVD链接获取
• 1 fps版本：下载链接（非商业学术研究用途）
• 字幕文件：下载链接

已弃用版本

• 原始版本：适用于Python 2.7和networkx 1.10
• 文件位置：py3loader目录

致谢

• 感谢Lakshmipathi Balaji对新版本发布的帮助

搜集汇总

数据集介绍

构建方式

在计算机视觉与自然语言处理交叉领域，MovieGraphs数据集通过系统化标注电影场景构建而成。研究团队从51部电影中提取视频片段，采用场景边界标注方法确定每个片段的起始和结束镜头。数据集以图结构形式组织标注信息，其中节点代表场景中的人物、物体和活动，边则表征它们之间的语义关系。这种基于图结构的标注方式能够有效捕捉视频中复杂的人际互动和场景动态。

使用方法

研究人员可通过提供的Python类库便捷地访问数据集内容。核心的GraphClasses.py文件定义了ClipGraph和MovieGraph类，封装了图结构的操作接口。使用前需确保Python环境配置正确，通过运行startup.py验证安装状态。数据集支持完整的训练/验证/测试划分，用户可根据split.json文件进行实验设计。值得注意的是，原始视频需通过DVD获取，但研究用途可下载1fps版本配合提供的字幕文件使用。

背景与挑战

背景概述

MovieGraphs数据集由多伦多大学研究团队于2018年CVPR会议上正式发布，旨在通过图结构建模视频中人物间的复杂社会互动。该数据集聚焦于理解以人为中心的场景情境，涵盖电影片段中角色关系、情感状态与行为动态的细粒度标注，为计算机视觉与人工智能领域提供了研究社会情境理解的重要基准。其创新性地将图神经网络引入视频分析，推动了跨模态推理与场景理解研究的发展。

当前挑战

该数据集核心挑战在于解析视频中动态变化的人际关系与社会情境，需同时处理视觉特征、对话内容与时空上下文的多模态融合。构建过程中面临标注复杂性难题，包括对电影场景中角色交互的图结构标注需要人工精细划分时空边界与关系类型，且原始视频数据因版权限制需通过第三方渠道获取，增加了数据一致性与可复现性的管理难度。

常用场景

经典使用场景

在计算机视觉与人工智能领域，MovieGraphs数据集被广泛应用于视频情境理解的研究中。该数据集通过标注电影场景中人物、物体及其交互关系，构建了丰富的图结构数据，为模型提供了学习人类中心化情境的典型范例。研究者常利用这些图结构来训练深度学习模型，以识别视频中的社交动态、情感表达和复杂事件演变，从而推动视觉叙事分析的发展。

解决学术问题

MovieGraphs数据集有效解决了视频理解中情境建模的长期挑战。传统方法往往局限于低层次特征提取，而该数据集通过结构化图表示，将人物、对象和活动之间的高阶关系具象化，使得模型能够捕捉人类行为的社会语义。这不仅促进了情境感知算法的进步，还为多模态学习、因果推理等前沿课题提供了可靠基准，显著提升了学术领域对复杂视觉场景的解析能力。

实际应用

在实际应用中，MovieGraphs数据集为智能视频分析系统提供了重要支撑。其图结构数据可应用于影视内容自动摘要、个性化推荐引擎以及人机交互界面设计。例如，在娱乐产业中，基于该数据集训练的模型能够自动生成电影情节概览或识别角色互动模式，辅助创作者优化叙事结构；同时，在安防监控领域，类似技术也被用于异常行为检测，增强公共安全管理效能。

数据集最近研究

最新研究方向

在视频理解与人工智能交叉领域，MovieGraphs数据集持续推动着对人类中心情境的深度解析研究。该数据集通过图结构标注视频场景中的实体关系与社交互动，为多模态推理任务提供了丰富语义基础。当前前沿研究聚焦于动态图神经网络与时空关系建模，结合视觉与文本信息实现情境感知的情感分析与行为预测。随着生成式人工智能的兴起，该数据集在视频描述生成、社交智能体开发等方向展现出重要价值，为构建具有社会认知能力的人工系统奠定了数据基石。