跨场景多节点动态感知知识库

跨场景多节点动态感知知识库主要面向开放环境智能感知研究，对元场景、跨场景知识进行建模，构建感知知识库，建立高效学习的知识存储和检索系统。知识库的生成主要包括目标检测、信息融合、关系检测三部分。目标检测模块生成主客体的空间和语意信息。信息融合模块将目标检测结果与视频时序信息进行耦合，通过统计学原理提高关系检测准确性。具体的我们提出一种基于Transformer实现的Siam网络框架，利用多目标跟踪算法提升视频中关键目标检测的准确性，引导关系检测模型在时间和空间纬度上对上下文信息进行融合，使得融合后的特征图可以更好地用于预测物体间对应的关系。通过主客体对分类获取对应关系，获取动态场景最终的图谱表示。我们通过对大量动态场景数据的分析处理，最终融合得到感知知识库。感知数据集包含 19752 个动态视频场景的解析结果，其中节点类型包括 Concept、Scene、SubScene、Object 以及 Ego，关系类型包括空间、交互、时序、概念等 42种关系。整体知识图谱由三类子图构成：时序子图、场景子图和概念子图。