TweetEval

社交媒体自然语言处理的实验环境过于分散。每年都会提出新的共享任务和数据集，从经典的情感分析到反讽检测或表情符号预测。因此，目前尚不清楚当前的技术状态是什么，因为没有标准化的评估协议，也没有针对此类特定领域数据训练的一组强大的基线。在本文中，我们提出了一个新的评估框架（TweetEval），由七个异构的 Twitter 特定分类任务组成。我们还提供了一组强大的基线作为起点，并比较了不同的语言建模预训练策略。我们的初步实验表明，从现有的预训练通用语言模型开始，然后在 Twitter 语料库上继续训练它们的有效性。