TIGER-Lab/TheoremQA

我们提出了第一个由STEM定理驱动的问答数据集。我们标注了800个问答对，涵盖了350多个定理，涉及数学、电子工程与计算机科学、物理和金融等领域。数据集由人类专家高质量地收集，旨在作为测试大型语言模型应用定理解决大学水平问题的基准。我们提供了一个流程来提示大型语言模型并使用WolframAlpha评估其输出。

原始信息汇总

数据集概述

数据集名称

• 名称：TheoremQA

数据集特征

• 特征包括：
  • Question（问题）：字符串类型
  • Answer（答案）：字符串类型
  • Answer_type（答案类型）：字符串类型
  • Picture（图片）：图像类型

数据集划分

• 测试集（test）：
  • 示例数量：800
  • 数据大小：5025005字节
  • 下载大小：4949475字节

配置

• 默认配置（default）：
  • 数据文件路径：data/test-*

许可证

• MIT许可证

任务类别

• 问答（question-answering）

语言

• 英语（en）

标签

• 科学（science）

大小类别

• 小于1K（n<1K）