FedVLMBench

FedVLMBench是一个用于联邦微调视觉语言模型的系统化基准，它集成了两种主流的视觉语言模型架构（基于编码器和基于无编码器的模型），四种微调策略，五种联邦学习算法，以及涵盖四种不同下游任务类别的六个跨域任务数据集。数据集的内容包括图像、文本和对应的响应，旨在评估模型在跨模态理解和生成任务中的性能。FedVLMBench的创建过程涉及了多种联邦学习算法和数据集的整合，以评估不同模型架构和微调策略在不同任务场景下的表现。数据集的应用领域包括跨模态理解和生成任务，如视觉问答、分类、视觉定位和报告生成等。