跨媒体常识库

跨媒体常识库是基于图像和文本两种模态的图文常识数据集，主要由通用领域中的图片及其对象、关系以及关系中涉及的常识知识文本描述构成。
本数据集源于网上下载的新闻数据（包含新闻图片和新闻内容）、视觉关系检测数据集(VRD)、视觉基因数据库（VG），并结合文本常识库（ConceptNet）中的常识关系及其实体库，对图片中的对象、关系以及关系中涉及的常识知识进行标注而构成。每一条常识数据表示为七元组，包含实体（或主体，客体）标签、常识关系、实体在图像中的位置、图像信息以及图像描述。其中常识关系包括：类属关系、聚集关系、属性关系、时间关系、位置关系、相近关系、因果关系、组成关系、行为关系、状态关系、作用关系以及组合关系共12种关系。数据集共包含图片和文本154,977对，常识关系七元组实例1,115,728条，覆盖实体15,748种。