RWSD (The Winograd Schema Challenge (Russian))

Winograd 模式是一对只有一个或两个单词不同的句子，并且包含在两个句子中以相反方式解决的歧义，并且需要使用世界知识和推理来解决它。该模式的名称取自 Terry Winograd 的一个著名示例。然后，按照图灵测试的思路，该集合将作为 AI 程序的挑战提出。挑战的优势在于它是明确的，因为每个模式的答案都是二元选择；生动，因为对于非专家来说，显然无法获得正确答案的程序在理解上存在严重差距；并且困难，因为它远远超出了当前的技术水平。任务类型逻辑和推理，世界知识。二进制分类：真/假示例 {“文本”：“Кубок не помещается в коричневый чемодан, потому что он слишком большой。” "label": false, "idx": 5, "target": { "span1_text": "чемодан", "span2_text": "он слишком большой", "span1_index": 5, "span2_index": 8 }, } 如何我们收集数据了吗？所有文本示例都是手动收集的，将原始 Winograd 数据集翻译和改编为俄语。在 Yandex.Toloka 上进行了人工评估。