MOAT（Multimodal model Of All Trades）是一个用于评估大型多模态模型（LMMs）的挑战性基准测试数据集。它包含视觉语言任务，要求LMM整合多种视觉语言能力，并参与类似人类的通用视觉问题解决。MOAT的许多任务还关注LMMs在复杂文本和视觉指令上的基础能力，这对于LMMs在野外应用至关重要。

github2025-03-14 更新480

AV-Odyssey/AV_Odyssey_Bench

多模态模型评估

视听理解测试

AV-Odyssey是一个评估多模态大型语言模型理解音视频信息能力的综合评估基准，包含26个不同任务和4555个融合文本、视觉和音频元素的问题。数据集为全新收集并由人工注释，特点包括全面的音频属性、广泛的领域以及交织的文本、音频和视觉组件。

Hugging Face2025-01-15 更新170

用于评估多模态大型语言模型的眼科图像数据集

眼科图像分析

多模态模型评估

本研究构建了一个新颖的多模态基准，用于通过眼底照片和光学相干断层扫描（OCT）图像综合评估多模态大型语言模型（MLLMs）的诊断性能。该数据集经过严格的质控和专家标注，包含439张眼底图像和75张OCT图像，旨在解决眼科诊断中的实际问题，为多模态模型的评估提供了新的视角。

arXiv2025-03-10 更新620

tsinghua-ee/AVUTBenchmark