d0rj/dialogsum-ru

DIALOGSum Corpus是一个包含13,460个对话的俄语对话摘要数据集，每个对话都有人工标注的摘要和话题。数据集由语言专家从英语翻译而来，并由专家生成标注。数据集主要用于摘要、文本到文本生成和文本生成任务。数据集的结构包括对话文本、人工编写的摘要、话题描述和唯一标识符。训练集包含12460个样本，验证集包含500个样本，测试集包含1500个样本。数据集的创建基于多个公共对话语料库，旨在涵盖丰富的现实生活场景和多样化的任务导向场景。

原始信息汇总

数据集概述

数据集基本信息

• 名称: DIALOGSum Corpus (ru)
• 语言: 俄语
• 许可证: MIT
• 多语言性: 单语
• 大小: 10K<n<100K
• 来源数据集: knkarthick/dialogsum
• 任务类别:
  • 摘要生成
  • 文本到文本生成
  • 文本生成
• 标签:
  • 对话摘要
  • 对话摘要

数据集结构

数据字段

• id: 字符串
• dialogue: 字符串
• summary: 字符串
• topic: 字符串

数据分割

• 训练集: 12460个样本，19115158字节
• 验证集: 500个样本，746312字节
• 测试集: 1500个样本，2282379字节

数据集创建

采集理由

• 数据来源于三个公共对话语料库和一个英语口语练习网站，覆盖多种日常话题。
• 对话具有丰富的现实生活场景，清晰的沟通模式和意图，适合自动摘要任务。
• 标注者根据特定标准进行摘要，确保摘要的质量和准确性。

语言创建者和标注者

• 语言创建者: 语言学家
• 标注者: 语言专家

许可证信息

• 许可证: MIT License