ru_gpqa_diamond

# Карточка датасета GPQA Diamond (перевод на русский язык) Этот датасет представляет собой перевод на русский язык оригинального [набора данных](https://huggingface.co/datasets/Idavidrein/gpqa). \ GPQA — это набор вопросов и ответов с несколькими вариантами ответов. Полученные задания достаточно сложные и составленны и проверенны экспертами по биологии, физике и химии. Здесь только diamond часть всего датасета - 200 наиболее сложных задач уровня PhD. # Описание Датасет содержит 200 вопросов по биологии, физике и химии. Данные используются для оценки способностей моделей отвечать на сложные вопросы. \ Сложность заданий позволяет использовать бенчмарк не только для оценки фактических знаний модели о мире, но и для проверки её способности применять эти знания в процессе логических рассуждений. Все задачи и решения были переведены на русский язык с сохранением оригинальной структуры и формата. # Структура данных Данные содержат test и validation часть. Последняя предполагается для использования как FS (примеры) для модели.\ Каждый пример включает: Question,choice1,choice2,choice3,choice4,answer,choices,answer_w_think * Question — текст вопроса; * choice1,choice2,choice3,choice4/choices — текста вариантов ответа; * answer — правильный ответ; * answer_w_think — пояснения к выбору варианта ответа. # Формат скоринга Для получения сравнимых результатов рекомендуется использовать методологию расчетов, представленную в [lm-evaluation-harness](https://github.com/EleutherAI/lm-evaluation-harness/tree/main/lm_eval/tasks/gpqa). \ А также предлагаем мониторить статус пул-реквестов в [lm-evaluation-harness](https://github.com/EleutherAI/lm-evaluation-harness) с добавлением текущего набора данных.