LogiEval

该数据集名为LogiEval，它是一个全面评估大型推理模型逻辑推理能力的基础设施，涵盖了来自高质量人类考试的多种推理类型和任务格式。此外，LogiEval还包含了LogiEval-Hard这一具有挑战性的子集，这是通过一种新颖的筛选范式识别出来的，该范式突显了不同规模模型在基本推理能力上的瓶颈。该任务的目的是进行逻辑推理评估。