M3KE(Massive Multi-Level Multi-Subject Knowledge Evaluation )

M3KE，一种大规模的多层次多学科知识评估基准，它是为测量中文大型语言模型在零和少镜头设置下获得的知识而开发的。我们从71个任务中收集了20,477个问题。我们的选择涵盖了从小学到大学的中国教育体系的所有主要层次，以及各种学科，包括人文，历史，政治，法律，教育，心理，科学，技术，艺术和宗教。所有问题都是选择题，有四个选项，因此保证了标准化和统一的评估过程。 我们已经评估并将继续评估我们基准上的许多中文大型语言模型。当前评估的模型要么仅对海量数据进行预训练，要么使用SFT或RLHF进行预训练微调。模型大小从335M到175B参数不等。