Songweii/M3GIA

M3GIA数据集是一个多语言和多模态的通用智能能力基准测试，旨在评估多模态大语言模型（MLLMs）的通用智能能力。数据集基于认知科学中的Cattell-Horn-Carrol（CHC）模型，识别了五个关键认知因素，并提出了新的评估指标。数据集涵盖了英语、中文、法语、西班牙语、葡萄牙语和韩语，确保数据收集自各自的文化背景，以避免英语中心偏见。数据集包含人类参与者的大量数据，揭示了最先进的MLLM在英语中达到了人类智能的下限，但在其他五种语言中仍存在显著差距。数据集将开源，以促进MLLMs认知能力的提升。

原始信息汇总

数据集概述

名称: M3GIA

描述: M3GIA是一个认知驱动的多语言和多模态通用智能能力评估基准，旨在超越表面成就，深入理解多模态大型语言模型（MLLMs）的智能。该数据集基于Cattell-Horn-Carrol（CHC）模型，识别了五个关键认知因素，并提出了新的评估指标。

语言: 英语、中文、西班牙语、法语、葡萄牙语、韩语

许可证: Apache-2.0

数据结构:

• 中文: 测试数据路径为chinese_v1.parquet
• 英语: 测试数据路径为english_v1.parquet
• 西班牙语: 测试数据路径为spanish_v1.parquet
• 法语: 测试数据路径为french_v1.parquet
• 葡萄牙语: 测试数据路径为portuguese_v1.parquet
• 韩语: 测试数据路径为korean_v1.parquet

特点:

• 多语言支持，涵盖流行语言，避免英语中心偏见。
• 数据收集自各语言的本土文化背景，确保多样性和公正性。
• 揭示了当前最先进的MLLM在英语中达到人类智能的较低边界，而在其他五种语言中存在显著差异。
• 展示了与认知研究中发现的现象相一致的“胜者通吃”现象。