跨媒体常识知识库

该数据集以生物、物体、日常行为等常识知识为主，包含文本、图像、视频、音频四种模态，构成了一个跨模态常识知识图谱。其中，文本模态构成了知识图谱的骨干，图像、视频、音频模态为多模态数据，模态种类超过传统的多模态知识图谱；多模态数据同时对齐到实体上以及两个实体、一个关系共同构成的三元组上，从而相比于仅将多模态数据对齐到实体的传统多模态知识图谱，可以表达更为复杂的概念。整个知识图谱包含443,580个实体，1,382,358个三元组，其中对齐了图像的实体和三元组分别有340,225个和223,998个，对齐了视频的实体和三元组分别有239,566个和194,037个，对齐了音频的实体和三元组分别有103,580个和30,169个。

搜集汇总

背景与挑战

背景概述

跨媒体常识知识库是一个涵盖生物、物体、日常行为等常识知识的跨模态知识图谱，整合了文本、图像、视频、音频四种模态数据。它不仅将多模态数据对齐到实体，还对齐到实体关系三元组，以表达更复杂的概念，包含超过44万个实体和138万个三元组，并提供了大量对齐的图像、视频和音频数据。