COPEN

Copin是一个概念知识Porobing基准，旨在分析预先训练的语言模型 (plm) 的概念理解能力。具体来说，copin由三个任务组成:
概念相似性判断 (CSJ)。给定一个查询实体和几个候选实体，CSJ任务要求选择与查询实体在概念上最相似的候选实体。
概念属性判断 (CPJ)。给定描述概念属性的语句，PLMs需要判断该语句是否正确。
语境概念化 (CiC)。给定一个句子，句子中提到的一个实体以及该实体的几个概念链，PLMs需要根据实体的上下文选择最合适的概念。

搜集汇总

背景与挑战

背景概述

COPEN是一个概念知识探测基准，旨在评估预训练语言模型的概念理解能力，包含概念相似性判断、概念属性判断和语境概念化三个任务。该数据集由清华大学等机构于2022年公开发布。