hivaze/ru-AAQG-QA-QG

这是一个用于训练俄语Seq2Seq和CLM模型的数据集，主要针对封闭域问答任务。数据集包含三个主要任务：1. AAQG（基于已知答案生成问题）；2. QG（基于上下文生成问题）；3. QA（基于上下文回答问题）。这些任务基于已知上下文、问题和正确答案的常规数据集生成，生成比例为0.4、0.3和0.3。数据集来源包括sberquad、russian_super_glue/muserc和russian_super_glue/danetqa。此外，还提供了用于QA任务的提示模板。

原始信息汇总

数据集概述

数据集信息

• 特征:
  • task_type: 字符串类型
  • instruction: 字符串类型
  • target: 字符串类型
  • source: 字符串类型
• 分割:
  • train: 字节数为 93075676，样本数为 53264
  • validation: 字节数为 12239164，样本数为 6850
• 下载大小: 45289649 字节
• 数据集大小: 105314840 字节

配置

• 默认配置:
  • train: 路径为 data/train-*
  • validation: 路径为 data/validation-*

语言

• 俄语

标签

• qa
• qg
• aaqg
• instruct
• question-answering
• question-generation

大小类别

• 10K<n<100K

任务类别

• question-answering
• text2text-generation

描述

该数据集用于训练俄语 Seq2Seq 和 CLM 模型，主要针对封闭域问答任务。

数据集包括以下三个主要任务：

1. AAQG（答案感知问答）- 根据上下文生成问题，已知答案
2. QG - 根据上下文生成问题，未知答案
3. QA - 根据上下文回答问题的标准任务

AAQG、QG、QA 任务基于已知上下文、问题和正确答案的常规数据集生成，生成比例分别为 0.4、0.3 和 0.3。

用于编译此数据集的数据集列表：

1. sberquad
2. russian_super_glue/muserc
3. russian_super_glue/danetqa

用于 QA 任务的提示： python AAQG_PROMPT = "Сгенерируй вопрос по тексту, используя известный ответ. Текст: {context}. Ответ: {answer}." QG_PROMPT = "Сгенерируй вопрос по тексту. Текст: {context}." QA_PROMPT = "Сгенерируй ответ на вопрос по тексту. Текст: {context}. Вопрос: {question}."