AvitoTech/ru_drop
收藏Hugging Face2025-10-22 更新2026-01-03 收录
下载链接：
https://hf-mirror.com/datasets/AvitoTech/ru_drop
下载链接
链接失效反馈官方服务：
资源简介：
---
license: cc-by-4.0
task_categories:
- table-question-answering
- text-generation
language:
- ru
pretty_name: RU_DROP
size_categories:
- 1K<n<10K
---
# Карточка датасета DROP (перевод на русский язык)
Этот датасет представляет собой перевод на русский язык оригинального [набора данных](https://huggingface.co/datasets/EleutherAI/drop)
# Описание
Датасет содержит 9500 вопросов по текстам (пассажам). Данные используются для оценки способностей моделей отвечать на сложные вопросы по тексту. Для правильного ответа зачастую необходимо совершить различные логические дейтсвия над информацией из текста.
Все задачи и решения были переведены на русский язык с сохранением оригинальной структуры и формата.
# Структура данных
Каждый пример включает:
* query_id — id из оригинального набора данных;
* question — текст вопроса;
* passage — пассаж, по которому нужно ответить на вопрос;
* answer — ответ в необходимом для валидации формате;
* validated_answer — технический столбец для валидации.
# Формат скоринга
Для получения сравнимых результатов рекомендуется использовать следующую методологию расчетов, представленную в [issues lm-evaluation-harness](https://github.com/EleutherAI/lm-evaluation-harness/issues/2137). \
А также предлагаем мониторить статус пул-реквестов в [lm-evaluation-harness](https://github.com/EleutherAI/lm-evaluation-harness) с добавлением описанного формата скоринга.
提供机构：
AvitoTech
