DADA2000

驾驶员注意力预测正成为类人驾驶系统中必不可少的研究问题。这项工作试图预测驾驶事故场景 (DADA) 中驾驶员的注意力。然而，由于动态的交通场景，复杂而不平衡的事故类别，挑战紧随其后。在这项工作中，我们设计了一个语义上下文诱导的注意融合网络 (SCAFNet)。我们首先将RGB视频帧分割成具有不同语义区域 (即语义图像) 的图像，其中每个区域表示场景的一个语义类别 (例如，道路、树木等)，并同时学习两条平行路径中RGB帧和语义图像的时空特征。然后，通过注意力融合网络将学习到的特征融合在一起，以找到驾驶员注意力预测中语义引起的场景变化。贡献是三倍。1) 利用语义图像，引入其语义上下文特征，并验证其对驾驶员注意力预测的明显提升效果，其中语义上下文特征是通过图卷积网络 (GCN) 对语义图像进行建模的；2) 以专注策略融合语义图像的语义上下文特征和RGB帧的特征，并通过卷积LSTM模块将融合的细节在帧上转移，以获得每个视频帧的注意图，并考虑历史场景在驾驶情况下的变化；3) 在我们先前收集的数据集 (称为DADA-2000) 和其他两个具有挑战性的数据集上，使用最新方法评估了所提出方法的优越性。