FewCLUE

我们介绍了中国的少拍学习评估基准 (FewCLUE)，这是中国第一个综合的少拍评估基准。 中文。它包括九项任务，范围 从单句和句子对分类任务到机器阅读理解任务。我们系统地评估 五个最先进的 (SOTA) 少镜头学习 方法 (包括PET，ADAPET，lm-bff， P-tuning和EFL)，并在新构建的FewCLUE基准上将它们的性能与微调和零射击学习方案进行比较。实验结果表明: 1) 不同次注射的效果 学习方法对预先训练的人很敏感 应用这些方法的模型; 2) PET和P-tuning分别与RoBERTa和ERNIE实现了最佳的整体性能。我们的基准在NLPCC 20211的几次学习比赛中使用 。此外，我们提供了一个用户友好的工具包，如 以及在线排行榜，以帮助促进 中国少枪学习的进一步进展。 我们提供了不同学习方法的基线表现，为未来的研究提供了参考。