ganeshjcs/hindi-headline-article-generation

`hindi-headline-article-generation` 是一个开源数据集，源自 Hindi Text Short and Large Summarization 数据集，采用指令风格记录生成。该数据集是 Cohere For AI 的 Aya 开放科学计划的一部分，旨在确保印地语在 AI/ML 领域得到充分代表。数据集可用于训练大型语言模型、生成合成数据和数据增强等任务。数据集包含印地语记录，结构包括 inputs、targets、template_id 和 template_lang 等字段。数据集在 CC BY-SA 4.0 许可下发布，可用于学术和商业用途。README 文件还提到了数据集的局限性，包括潜在的偏见和某些记录中可能包含的英语内容。

`hindi-headline-article-generation` is an open-source dataset derived from the Hindi Text Short and Large Summarization dataset, formatted as instruction-style generation records. This dataset is part of the Aya Open Science Initiative by Cohere For AI, with the objective of securing adequate representation of the Hindi language in the AI/ML field. It supports use cases including training large language models, generating synthetic data, and data augmentation. The dataset contains Hindi-language entries, with structural fields such as `inputs`, `targets`, `template_id`, and `template_lang`. Released under the CC BY-SA 4.0 license, it permits both academic and commercial usage. The accompanying README also outlines the dataset's limitations, including potential biases and the presence of English content in some records.

原始信息汇总

数据集概述

hindi-headline-article-generation 是一个由 Hindi Text Short and Large Summarization 数据集转换生成的 instruct-style 记录的开源数据集。该数据集由 Cohere For AI 的 Aya Open Science Initiative 创建。

数据集详情

• 语言: 印地语
• 版本: 1.0
• 许可证: CC BY-SA 4.0
• 数据量: 10K<n<100K
• 任务类别: 文本生成
• 任务ID: 语言建模
• 多语言性: 单语种
• 标签: 生成

数据字段

• inputs: 语言模型的提示或输入
• targets: 语言模型的完成或输出
• template_id: 在 inputs 和 targets 中使用的模板ID
• template_lang: 在 inputs 和 targets 中使用的语言的ISO代码，其中 hin 指印地语

模板

用于从原始数据集创建 instruct-style 提示和完成的模板类别及变体如下：

1. 给定一个句子，生成一个意义相似的句子。

   template_id	inputs	targets
   0	यह शीर्षक है, इसके लिए एक लेख लिखें: {{Title}}	यह एक लेख है: {{Article}}
   1	एक लेख लिखें जिसका शीर्षक इस प्रकार है: {Title}}	लेख: {{Article}}
   2	एक लेख लिखें जिसका शीर्षक इस प्रकार है: {{Title}}	{{Article}}
   3	एक लेख लिखें जिसका शीर्षक इस प्रकार है: {{Title}}	दिए गए शीर्षक के अनुरूप एक पाठ यह हो सकता है: {{Article}}
   4	यह शीर्षक है, इसके लिए एक लेख लिखें: {{Title}}	{{Article}}
   5	इसके लिए एक लेख लिखें: {{Title}}	लेख: {{Article}}
   6	इस शीर्षक के साथ एक लेख लिखें: {{Title}}	यह एक लेख है: {{Article}}
   7	इस शीर्षक के साथ एक लेख लिखें: {{Title}}	दिए गए शीर्षक के अनुरूप एक पाठ यह हो सकता है: {{Article}}
   8	यह शीर्षक है, इसके लिए एक लेख लिखें: {{Title}}	लेख: {{Article}}
   9	इसके लिए एक लेख लिखें: {{Title}}	{{Article}}
   10	इसके लिए एक लेख लिखें: {{Title}}	यह एक लेख है: {{Article}}
   11	इस शीर्षक के साथ एक लेख लिखें: {{Title}}	लेख: {{Article}}
   12	इसके लिए एक लेख लिखें: {{Title}}	दिए गए शीर्षक के अनुरूप एक पाठ यह हो सकता है: {{Article}}
   13	यह शीर्षक है, इसके लिए एक लेख लिखें: {{Title}}	दिए गए शीर्षक के अनुरूप एक पाठ यह हो सकता है: {{Article}}
   14	एक लेख लिखें जिसका शीर्षक इस प्रकार है: {{Title}}	यह एक लेख है: {{Article}}
   15	इस शीर्षक के साथ एक लेख लिखें: {{Title}}	{{Article}}

已知限制

• 该数据集是从现有数据集转换而来，内容可能反映出偏见、事实错误和敏感问题。
• 尽管尽力保持数据集为单语种，但可能存在一些记录包含印地语和英语混合的情况。

贡献者

Ganesh Jagadeesan