ru_drop

# Карточка датасета DROP (перевод на русский язык) Этот датасет представляет собой перевод на русский язык оригинального [набора данных](https://huggingface.co/datasets/EleutherAI/drop) # Описание Датасет содержит 9500 вопросов по текстам (пассажам). Данные используются для оценки способностей моделей отвечать на сложные вопросы по тексту. Для правильного ответа зачастую необходимо совершить различные логические дейтсвия над информацией из текста. Все задачи и решения были переведены на русский язык с сохранением оригинальной структуры и формата. # Структура данных Каждый пример включает: * query_id — id из оригинального набора данных; * question — текст вопроса; * passage — пассаж, по которому нужно ответить на вопрос; * answer — ответ в необходимом для валидации формате; * validated_answer — технический столбец для валидации. # Формат скоринга Для получения сравнимых результатов рекомендуется использовать следующую методологию расчетов, представленную в [issues lm-evaluation-harness](https://github.com/EleutherAI/lm-evaluation-harness/issues/2137). \ А также предлагаем мониторить статус пул-реквестов в [lm-evaluation-harness](https://github.com/EleutherAI/lm-evaluation-harness) с добавлением описанного формата скоринга.