MMIU数据集由苹果公司创建，专注于多模态助手中的视觉意图理解。该数据集包含12,000张图像和44,000个相关问题，旨在模拟用户向多模态助手提出的问题。数据集内容涵盖事实信息查询、本地商业搜索、食谱请求、导航指引等多个领域。创建过程中，通过标注者根据图像生成问题，并确定14种不同的意图类别。MMIU数据集的应用领域广泛，主要用于解决多模态助手在处理视觉信息时的意图识别问题，推动相关技术的发展。

arXiv2021-10-31 更新440

FBK-MT/MCIF

多模态

跨语言

MCIF（多模态跨语言指令遵循）是一个基于科学讲座的多语言人工标注基准测试数据集，旨在评估跨语言和多模态环境下的指令遵循能力，涵盖长格式和短格式输入。MCIF包含语音、视觉和文本三种核心模态，支持英语、德语、意大利语和中文四种语言，能够全面评估多语言大模型（MLLMs）在不同语言和模态上下文信息中的指令解释能力。数据集分为长格式和短格式输入，以及固定提示和混合提示两种提示类型，适用于自动语音识别、

Hugging Face2026-02-25 更新300

example_mmdata_mnbvc

多模态

语音数据集

MNBVC多模态语料数据集v2.0，专注于提供多模态语料数据，包含文本、图片和音频等多种类型。数据集中每条数据都有唯一标识符，并记录了首次出现时间及扩展信息。每个数据块都标明了类别（模态），并提供文件MD5值（可选）以保证数据完整性。该数据集适用于多模态信息处理任务，并提供了图片和音频数据的读取代码示例，方便用户进行标准化数据操作。本数据集采用Apache-2.0授权许可。

OpenCSG2024-07-19 更新230

FinMTM

多模态

模型评估

FinMTM 是一个多轮多模态基准数据集，旨在评估视觉语言模型（VLMs）在现实金融推理和代理设置中的表现。由于专业图表格式和知识密集型推理的挑战，金融问答任务具有较高难度，而现有基准大多为单轮且问题多样性有限。FinMTM 通过扩展数据多样性和任务覆盖范围，提供了全面的现实世界评估场景。该数据集包含 11,133 个中英文双语金融问答对，基于多样化的金融视觉内容（如K线图、统计图表、报告图表

Hugging Face2026-01-26 更新350

Modality-Parallel Persona Dataset

多模态

自然语言处理

该数据集包含40个多样化的人格特征，这些特征在年龄、性别、职业和地域上各不相同，并通过四种方式呈现：仅图像、仅文本、图像与小文本结合，以及排版图像。每个人格都由一组独特的属性定义：年龄、性别、职业和地域，并以四种不同的方式呈现，以评估多模态大型语言模型的表现力。该项任务旨在评估多模态大型语言模型中人格特征的表达性。

arXiv240

EQA-MX

资源简介：

相关数据集