TheoremQA

我们提出了第一个由STEM定理驱动的问答数据集。我们注释了800 QA对，涵盖跨越数学，EE & CS，物理和金融的350定理。数据集是由人类专家收集的，质量非常高。我们提供数据集作为新的基准，以测试大型语言模型的局限性，以应用定理来解决具有挑战性的大学水平问题。我们在下面提供了一条管道，以提示LLMs并使用WolframAlpha评估其输出。