ProverQA

ProverQA数据集，主要用于评测大语言模型LLMs的逻辑推理能力。有训练集和评测集，训练集5000个example，评测集1500个example，分为三个难度水平：easy，medium和hard，每个难度水平500道题目。 ProverQA数据集由ProverGen框架生成，详见ICLR2025论文 Large Language Models Meet Symbolic Provers for Logical Reasoning Evaluation。该框架首次组合了LLMs和symbolic prover来生成逻辑推理数据，兼顾了生成数据的多样性和真实性。