COPEN

Copin是一个概念知识Porobing基准，旨在分析预先训练的语言模型 (plm) 的概念理解能力。具体来说，copin由三个任务组成: 概念相似性判断 (CSJ)。给定一个查询实体和几个候选实体，CSJ任务要求选择与查询实体在概念上最相似的候选实体。 概念属性判断 (CPJ)。给定描述概念属性的语句，PLMs需要判断该语句是否正确。 语境概念化 (CiC)。给定一个句子，句子中提到的一个实体以及该实体的几个概念链，PLMs需要根据实体的上下文选择最合适的概念。