mmlu

MMLU旨在衡量大规模多任务语言理解能力，它提供了一个包含多个选择题的测试集，涵盖人文、社会科学和自然科学等多个领域的知识。该测试集包含超过10,000个样本，覆盖57个不同的任务，例如基础数学、美国历史、计算机科学和法律等。每个样本包含问题、选项和答案，并提供测试集、验证集和开发集等多种数据划分。MMLU采用MIT许可，并提供标准化数据操作，方便用户进行问题回答等任务的研究。