RUSSE (Russian Words in Context (based on RUSSE))

WiC：上下文中的词数据集 评估上下文相关词嵌入的可靠基准。
根据其上下文，一个模棱两可的词可以指代多个可能不相关的含义。主流的静态词嵌入，如 Word2vec 和 GloVe，无法反映这种动态语义性质。上下文化词嵌入是通过计算可以根据上下文适应的词的动态表示来解决这一限制的尝试。
俄语 SuperGLUE 任务借用 Russe 项目的原始数据，Word Sense Induction and Disambiguation 共享任务（2018）
任务类型
阅读理解。二进制分类：真/假
例子
{
“idx”：8，
“单词”：“дорожка”，
"sentence1" : "Бурые ковровые дорожки заглушали шаги",
"sentence2" : "Приятели решили выпить на дорожку в местном баре",
“开始1”：15，
“结束1”：23，
“开始2”：26，
“end2”：34，
“标签”：假，
“gold_sense1”：1，
“gold_sense2”：2
}
我们是如何收集数据的？
所有文本示例均来自 Russe 原始数据集，该数据集已由 ACL SIGSLAV 的俄罗斯语义评估收集。在 Yandex.Toloka 上进行了人工评估。
在版本 2 中，我们手动收集了相同格式的测试集。