MulCogBench

MulCogBench是一个多模态认知基准数据集，由中国科学院自动化研究所创建，用于评估中英文计算语言模型。该数据集包含多种认知数据，如主观语义评分、眼动追踪、功能磁共振成像（fMRI）和脑磁图（MEG），来源于中文和英文母语者。数据集旨在通过分析语言模型与认知数据的相似性，探索语言模型处理语言的机制是否与人类相似，特别是在处理复杂语言结构时。此外，数据集还展示了语言模型在不同认知模态和语言单元中的表现，以及中英文之间的相似性，为跨语言研究提供了基础。MulCogBench is a multimodal cognitive benchmark dataset created by the Institute of Automation, Chinese Academy of Sciences, for evaluating Chinese and English computational language models. This dataset includes various types of cognitive data, such as subjective semantic ratings, eye-tracking recordings, functional magnetic resonance imaging (fMRI), and magnetoencephalography (MEG), collected from native Chinese and English speakers. The dataset aims to explore whether the language processing mechanisms of language models are similar to those of humans, especially when handling complex linguistic structures, by analyzing the similarity between language models and human cognitive data. Additionally, the dataset demonstrates the performance of language models across different cognitive modalities and linguistic units, as well as the similarities between Chinese and English, providing a foundation for cross-linguistic research.

搜集汇总

数据集介绍

构建方式

在认知神经科学领域，探究计算语言模型与人类大脑语言处理机制的相似性已成为前沿课题。MulCogBench数据集的构建依托于多模态认知数据的系统性采集与整合，其核心方法在于汇集了来自汉语和英语母语者的多样化认知实验数据。具体而言，该数据集整合了行为层面的语义评分与眼动追踪数据，以及神经影像层面的功能磁共振成像（fMRI）和脑磁图（MEG）数据。语言刺激材料覆盖了从单词到语篇的多层次单元，所有数据均经过严格的伦理审查与标准化预处理流程，确保了数据的可靠性与可比性。通过融合不同模态与语言单位的认知信号，该数据集为跨语言、跨模型的认知对齐研究提供了坚实基础。

特点

MulCogBench的显著特点在于其多模态、跨语言与多层次的设计架构。数据集同时囊括了汉语与英语两种语言的认知数据，涵盖了行为反应（如语义特征评分与阅读眼动模式）与神经活动（如fMRI与MEG信号）等多种认知表征形式。这种设计使得研究者能够系统考察计算模型在不同认知维度上与人类大脑的相似性，并探究语言单位复杂度（从单词到语篇）对模型对齐程度的影响。尤为重要的是，数据集揭示了模型相似性模式受认知模态与刺激复杂度的共同调节，例如上下文感知模型在复杂语言结构中表现出更强的类人特性，而浅层与深层模型分别与高时间分辨率的MEG及高空间分辨率的fMRI信号更为对齐。

使用方法

为评估计算语言模型与人类认知数据的表征相似性，MulCogBench配套提出了相似性编码分析这一方法论框架。该方法通过计算模型嵌入表示与认知数据之间的相似性矩阵，重构认知信号并评估其与原始数据的相关性。具体应用中，针对不同认知模态的特性进行了适应性调整：对于眼动数据，逐特征进行相似性编码；语义评分数据则跨特征平均相关性；fMRI数据采用基于感兴趣区域的细粒度分析，并筛选信息量最高的体素；MEG数据则聚焦于预测性能最优的传感器与时间窗口。这一分析方法使得研究者能够量化模型在不同认知层面上的类人程度，并为理解模型与大脑语言处理机制的对应关系提供实证依据。

背景与挑战

背景概述

在计算语言学与认知神经科学的交叉领域，探究预训练语言模型是否能够模拟人脑的语言处理机制已成为前沿研究热点。MulCogBench数据集由中国科学院自动化研究所多模态人工智能系统国家重点实验室的研究团队于2024年创建，旨在通过整合汉语与英语的多模态认知数据，系统评估计算语言模型与人类认知表征之间的相似性。该数据集涵盖了语义评分、眼动追踪、功能磁共振成像及脑磁图等多种认知模态，其核心研究问题聚焦于语言模型的工作机制与人脑语言表征的对应关系，为跨语言认知普适性研究提供了重要实证基础，推动了人工智能与认知科学的深度融合。

当前挑战

MulCogBench所针对的领域挑战在于如何精准量化计算语言模型与人类多模态认知数据之间的表征对齐程度，这涉及跨模态信号解码、语言复杂度层级分析以及跨语言泛化验证等多重复杂性。在数据集构建过程中，研究团队面临整合异构认知数据源的挑战，包括眼动数据的时序对齐、神经影像数据的空间标准化，以及汉语与英语刺激材料的认知实验设计一致性。此外，确保多模态数据在噪声抑制与认知功能解耦方面的可靠性，亦是实现高精度模型评估的关键难点。

常用场景

经典使用场景

在认知科学与计算语言学交叉领域，MulCogBench数据集为评估预训练语言模型与人类认知机制的相似性提供了多模态基准。该数据集整合了眼动追踪、语义评分、功能磁共振成像及脑磁图等多种认知数据，覆盖从词汇到语篇的不同语言单元。研究者通过相似性编码分析，能够系统探究语言模型表征与人类大脑活动之间的对应关系，尤其在跨语言一致性验证方面展现出独特价值。

实际应用

该数据集在脑机接口与自适应教育系统中具有重要应用前景。通过建立语言模型表征与神经信号的映射关系，可优化脑电信号解码算法，提升语言障碍患者的沟通辅助设备性能。在智能教育领域，基于眼动数据与语义评分的认知对齐分析，能为个性化学习系统提供认知负荷评估依据，实现教学材料难度与学习者认知状态的动态匹配。

衍生相关工作

MulCogBench催生了系列认知可解释性研究，如基于ROI分区的脑区特异性分析框架，揭示了语言模型不同层级与视觉皮层、语言网络等脑功能的对应关系。后续研究扩展了多模态融合解码方法，开发出能够同步预测行为反应与神经活动的混合评估体系。该数据集还促进了跨语言认知建模工具链的发展，为低资源语言的脑机制研究提供了可迁移的技术范式。