gpqa

数据集文件元信息以及数据文件，请浏览“数据集文件”页面获取。 当前数据集卡片使用的是默认模版，数据集的贡献者未提供更加详细的数据集介绍，但是您可以通过如下GIT Clone命令，或者ModelScope SDK来下载数据集 #### 下载方法 :modelscope-code[]{type="sdk"} :modelscope-code[]{type="git"}Dataset file metadata and data files are available on the "Dataset Files" page. This dataset card employs the default template, and the dataset contributor has not provided a more detailed introduction to the dataset. However, you can download the dataset using the following Git Clone command or the ModelScope SDK: #### Download Methods :modelscope-code[]{type="sdk"} :modelscope-code[]{type="git"}

搜集汇总

背景与挑战

背景概述

GPQA是一个包含448道多项选择题的问答数据集，涵盖生物学、物理学和化学领域，由专家编写和验证，题目难度极高，专家准确率为65%，非专家即使使用网络搜索也仅达34%，AI系统如GPT-4准确率为39%。该数据集主要用于可扩展监督实验和LLM能力基准测试。