issai/GPQA_Kazakh_Russian

---
dataset_info:
- config_name: kazakh
features:
- name: question
dtype: string
- name: choices
list: string
- name: answer
dtype: int64
- name: subdomain
dtype: string
splits:
- name: test
num_bytes: 1274749
num_examples: 1192
download_size: 550184
dataset_size: 1274749
- config_name: russian
features:
- name: question
dtype: string
- name: choices
list: string
- name: answer
dtype: int64
- name: subdomain
dtype: string
splits:
- name: test
num_bytes: 1319241
num_examples: 1192
download_size: 586919
dataset_size: 1319241
configs:
- config_name: kazakh
data_files:
- split: test
path: kazakh/test-*
- config_name: russian
data_files:
- split: test
path: russian/test-*
task_categories:
- question-answering
language:
- kk
size_categories:
- 1K<n<10K
license: cc-by-4.0
---

## Dataset Summary

These are the machine-translated Kazakh and Russian versions of the [GPQA (Graduate-Level Google-Proof Q&A Benchmark)](https://huggingface.co/datasets/Idavidrein/gpqa) dataset.

These datasets are used to test the world knowledge and problem-solving capabilities of large language models across a vast range of subjects in the Kazakh and Russian languages. Unlike general knowledge benchmarks, GPQA consists of extremely challenging science questions (biology, physics, and chemistry) written by experts. These questions are designed to be "Google-proof," meaning they are difficult for non-experts to answer even with unrestricted internet access, making this a rigorous test of a model's advanced reasoning and specialized scientific knowledge in Kazakh or Russian.

数据集信息：
- 配置名称：kazakh（哈萨克语）
特征：
- 字段名：question，数据类型：字符串
- 字段名：choices，数据类型：字符串列表
- 字段名：answer，数据类型：64位整数
- 字段名：subdomain，数据类型：字符串
数据划分：
- 划分名称：test（测试集），字节数：1274749，样本数：1192
下载大小：550184，数据集总大小：1274749
- 配置名称：russian（俄语）
特征：
- 字段名：question，数据类型：字符串
- 字段名：choices，数据类型：字符串列表
- 字段名：answer，数据类型：64位整数
- 字段名：subdomain，数据类型：字符串
数据划分：
- 划分名称：test（测试集），字节数：1319241，样本数：1192
下载大小：586919，数据集总大小：1319241
数据集配置：
- 配置名称：kazakh（哈萨克语）
数据文件：
- 数据划分：test（测试集），文件路径：kazakh/test-*
- 配置名称：russian（俄语）
数据文件：
- 数据划分：test（测试集），文件路径：russian/test-*
任务类别：
- 问答任务
语言：
- kk（哈萨克语）
样本规模类别：
- 1000 < n < 10000
许可证：知识共享署名4.0协议（CC BY 4.0）

## 数据集概述
本数据集为[GPQA（研究生级谷歌不可搜问答基准数据集，Graduate-Level Google-Proof Q&A Benchmark）](https://huggingface.co/datasets/Idavidrein/gpqa)的机器翻译哈萨克语与俄语版本。

该数据集用于测试大语言模型（Large Language Model，LLM）在哈萨克语与俄语语境下，跨多学科的世界知识储备与问题解决能力。与通用知识基准数据集不同，GPQA由专家撰写的极具挑战性的理科问题（涵盖生物学、物理学与化学）组成。这些问题被设计为“谷歌不可搜”类型，即即便非专业人士拥有无限制的互联网访问权限，也难以作答，因此该数据集可严格测试模型在哈萨克语或俄语语境下的高级推理能力与专业科学知识储备。