RefalMachine/darumeru

该数据集是ai-forever/MERA的简化版本，包含多个配置，每个配置对应不同的数据文件，分为test和prompt两个split。数据集中的instruction列被转换为消息格式，并且在某些情况下，指令末尾的“Ответ:”部分被单独添加为bot角色的消息。MultiQ数据集的部分样本（40%）通过llama-3-70b-instruct模型进行了更新，更新后的答案在满足一定条件（如字符rouge-l-precision > 0.55且单词数量不变）时被添加到输出中。

This dataset is a simplified version of ai-forever/MERA, containing multiple configurations, each corresponding to different data files divided into test and prompt splits. The instruction column in the dataset is converted into message format, and in some cases, the Ответ: part at the end of the instruction is added as a separate message with the bot role. Part of the MultiQ dataset samples (40%) were updated using the llama-3-70b-instruct model, and the updated answers were added to the output if they met certain conditions (e.g., character rouge-l-precision > 0.55 and the same number of words).

原始信息汇总

数据集概述

数据集语言

• 俄语（ru）

数据集许可证

• MIT

数据集配置

• config_name: parus

  • test: data/parus/test.jsonl
  • prompt: data/parus/prompt.jsonl

• config_name: use

  • test: data/use/test.jsonl
  • prompt: data/use/prompt.jsonl

• config_name: rcb

  • test: data/rcb/test.jsonl
  • prompt: data/rcb/prompt.jsonl

• config_name: rwsd

  • test: data/rwsd/test.jsonl
  • prompt: data/rwsd/prompt.jsonl

• config_name: multiq

  • test: data/multiq/test.jsonl
  • prompt: data/multiq/prompt.jsonl

• config_name: ruworldtree

  • test: data/ruworldtree/test.jsonl
  • prompt: data/ruworldtree/prompt.jsonl

• config_name: ruopenbookqa

  • test: data/ruopenbookqa/test.jsonl
  • prompt: data/ruopenbookqa/prompt.jsonl

• config_name: rummlu

  • test: data/rummlu/test.jsonl
  • prompt: data/rummlu/prompt.jsonl

• config_name: rutie

  • test: data/rutie/test.jsonl
  • prompt: data/rutie/prompt.jsonl

数据集更新

• MultiQ更新: 使用llama-3-70b-instruct进行更新，更新了40%的样本，更新后的提示格式为：

  Тебе на вход будет дан вопрос, ответ и тексты, из которых этот ответ извлекался. Твоя задача состоит только в том, чтобы перефразировать ответ так, чтобы он был в прафильной форме относительно вопроса. Твой ответ должен содержать только парафразу исходного ответа и ничего больше.

Текст 1: {support_text}

Текст 2: {text}

Вопрос: {question}

Исходный ответ: {answer}

Твой ответ должен содержать только парафразу исходного ответа и ничего больше. Количество слов в ответе должно быть неизменным.

数据集处理

• 原始的"instruction"列被转换为消息格式。在某些情况下，如果指令末尾包含“Ответ:”，这部分指令被添加为一个单独的消息，角色为bot。