TMMLU+ 繁体中文大规模多任务语言理解数据集

TMMLU+ 全称为 Large scale traditional chinese massive multitask language understanding，是一个中文大规模多任务语言理解数据集。它是一个涵盖了 66 个主题的多项选择问答数据集，水平从初级到专业不等。

TMMLU+ stands for Large-Scale Traditional Chinese Massive Multitask Language Understanding. It is a large-scale multi-task language understanding dataset focused on Traditional Chinese. It is a multiple-choice question answering dataset covering 66 topics, with difficulty levels ranging from elementary to professional.

搜集汇总

背景与挑战

背景概述

TMMLU+ 是一个繁体中文大规模多任务语言理解数据集，包含66个主题的多项选择问答，覆盖从初级到专业水平，规模比其前身大6倍且主题更平衡。该数据集提供了闭源模型和20个开源中文大型语言模型的基准结果，参数范围从1.8B到72B，显示繁体中文变体在性能上仍落后于主要简体中文模型。