PARus (Choice of Plausible Alternatives for Russian language)

俄语语言（PARus）评估的合理替代选择为研究人员提供了一种评估开放领域常识因果推理进展的工具。 PARus 中的每个问题都由一个前提和两个备选方案组成，其中的任务是选择更合理地与前提具有因果关系的备选方案。正确的选择是随机的，因此随机猜测的预期性能是 50%。任务类型 常识因果推理评估 句对分类：适合 - 不适合 示例 { “前提”：“Гости вечеринки прятались за диваном.”，“choice1”：“Это была вечеринка-сюрприз.”，“choice2”：“Это была” день рождения.", "question": "cause", "label": 0, "idx": 4 } 我们是如何收集数据的？所有文本示例均从开放新闻来源和文学杂志中收集，然后通过 Yandex.Toloka 上的人工评估进行人工审查和补充

PARus, a viable alternative for Russian language evaluation, offers researchers a tool to assess advancements in open-domain commonsense causal reasoning.
Each question in PARus consists of a premise and two alternative options, where the task is to select the option that more plausibly has a causal relationship with the premise.
The correct option is randomly assigned, so the expected performance of random guessing is 50%.
Task Type: Commonsense Causal Reasoning Evaluation; Sentence Pair Classification: Appropriate - Inappropriate
Example:
{
"premise": "Гости вечеринки прятались за диваном.",
"choice1": "Это была вечеринка-сюрприз.",
"choice2": "Это была день рождения.",
"question": "cause",
"label": 0,
"idx": 4
}
How was the data collected? All text samples were collected from open news sources and literary magazines, then manually reviewed and supplemented via human evaluation on Yandex.Toloka.

搜集汇总

背景与挑战

背景概述

PARus是一个用于评估俄语开放领域常识因果推理的数据集，每个问题由一个前提和两个备选方案组成，要求选择与前提有更合理因果关系的选项，数据来源于新闻和文学杂志并经过人工审核。该数据集作为俄罗斯语言理解基准的一部分，旨在支持研究进展，随机猜测的预期准确率为50%。