ru-mt-bench

# ru-mt-bench
**ru-mt-bench** is translated version of [LMSYS MT-Bench](https://huggingface.co/spaces/lmsys/mt-bench) datasets for evaluation LLMs. The translation of the original dataset was done manually.

### Overview of the Dataset
- Original dataset: [mt_bench](https://github.com/lm-sys/FastChat/blob/main/fastchat/llm_judge/data/mt_bench/question.jsonl)
- Number of tasks in original dataset: **80**
- Number of tasks: **80**
- Format: **JSON LINES**
- Task categories: **writing, roleplay, reasoning, math, coding, extraction, stem, humanities**

# Usage
To use this dataset for evaluation follow these steps:

1. Download this [jsonl](https://huggingface.co/datasets/t-bank-ai/ru-mt-bench/blob/main/raw/question.jsonl) file.

2. Use it with original [LMSYS LLM-judge](https://github.com/lm-sys/FastChat/tree/main/fastchat/llm_judge) codebase.

### Sample example

```json
{
"question_id": 81,
"category": "writing",
"turns": ["Напишите увлекательный пост в блоге о недавней поездке на Гавайи, расскажите в нем о своих впечатлениях и достопримечательностях, которые обязательно нужно посетить.", "Перепишите свой предыдущий ответ. Начинайте каждое предложение с буквы А."]
}
```

# ru-mt-bench
**ru-mt-bench** 是面向大语言模型（Large Language Model, LLM）评估的[LMSYS MT-Bench](https://huggingface.co/spaces/lmsys/mt-bench)数据集的俄语翻译版本，原始数据集的翻译工作均由人工完成。

### 数据集概述
- 原始数据集：[mt_bench](https://github.com/lm-sys/FastChat/blob/main/fastchat/llm_judge/data/mt_bench/question.jsonl)
- 原始数据集任务总数：**80**
- 当前数据集任务总数：**80**
- 数据格式：**JSON 行格式（JSON LINES）**
- 任务分类：**写作、角色扮演、推理、数学、编程、信息抽取、理工科、人文社科**

### 使用方法
若需使用该数据集开展模型评估，请遵循以下步骤：
1. 下载此[jsonl](https://huggingface.co/datasets/t-bank-ai/ru-mt-bench/blob/main/raw/question.jsonl)文件。
2. 将其与原始的[LMSYS LLM-judge](https://github.com/lm-sys/FastChat/tree/main/fastchat/llm_judge)代码库配合使用。

### 示例条目
json
{
"question_id": 81,
"category": "writing",
"turns": ["Напишите увлекательный пост в блоге о недавней поездке на Гавайи, расскажите в нем о своих впечатлениях и достопримечательностях, которые обязательно нужно посетить.", "Перепишите свой предыдущий ответ. Начинайте каждое предложение с буквы А."]
}