多模态基础模型双优化博弈投毒攻击数据集

多模态基础模型双优化博弈投毒攻击数据集是在标准数据集YFCC100M的子集或主流多模态数据集上训练得到的。主要包括两个权重参数集。首先，利用图像隐写技术，对训练样本进行细微的扰动，引入特定的、不可见的附加噪声。这种扰动对人类视觉而言几乎是透明的，但对于模型的训练过程则有显著的影响，从而训练出SSBA中毒模型的权重参数。其次，确保视觉触发模式与嵌入空间中的文本目标语义接近，并将中毒样本与目标视觉特征对齐。这种方法使得中毒样本在视觉上更接近目标特征，增强了攻击的隐蔽性。通过这种方式，训练得到了BadCLIP中毒模型的权重参数。这些参数的生成经过了精心设计和实验验证，以实现有效的多模态投毒攻击。