PMIndiaData/PMIndiaSum

PMIndiaSum是一个新的多语言和大规模并行的标题摘要语料库，专注于印度的语言。该语料库涵盖了四种语言家族、14种语言，以及迄今为止最大的196种语言对。它为所有跨语言对提供了测试平台。支持的任务包括印度的单语言、多语言和跨语言摘要。

PMIndiaSum is a new multilingual and massively parallel headline summarization corpus focused on languages in India. Our corpus covers four language families, 14 languages, and the largest to date, 196 language pairs. It provides a testing ground for all cross-lingual pairs. Supported tasks include monolingual, multilingual, and cross-lingual summarization for languages in India. The dataset includes training, testing, and validation data files for various languages. Data instances show examples of cross-lingual pairs, including source article URL, target article URL, article text, and article summary. The dataset can be sourced from the PMIndia website and is licensed under CC BY 4.0.

原始信息汇总

数据集卡片 for "PMIndiaSum"

数据集描述

概述

PMIndiaSum 是一个新的多语言和大规模并行标题摘要语料库，专注于印度语言。该语料库涵盖了四个语言家族，14种语言，以及迄今为止最大的196种语言对。它为所有跨语言对提供了测试平台。

支持的任务

支持印度语言的单语言、多语言和跨语言摘要。

语言

阿萨姆语、孟加拉语、古吉拉特语、印地语、卡纳达语、马拉地语、马拉雅拉姆语、曼尼普尔语、旁遮普语、奥里亚语、泰卢固语、泰米尔语、乌尔都语、英语

数据集结构

数据实例

我们展示了一个来自 PMIndiaSum 的泰卢固语-印地语跨语言对示例： json { "source_url": "https://www.pmindia.gov.in/te/news_updates/%E0%B0%8E%E0%B0%B2%E0%B0%95%E0%B1%8D%E0%B0%9F%E0%B1%8D%E0%B0%B0%E0%B0%BE%E0%B0%A8%E0%B0%BF%E0%B0%95%E0%B1%8D%E0%B0%B8%E0%B1%8D-%E0%B0%87%E0%B0%82%E0%B0%95%E0%B0%BE-%E0%B0%B8%E0%B0%AE%E0%B0%BE/", "target_url": "https://www.pmindia.gov.in/hi/news_updates/%E0%A4%AA%E0%A5%8D%E0%A4%B0%E0%A4%A7%E0%A4%BE%E0%A4%A8%E0%A4%AE%E0%A4%82%E0%A4%A4%E0%A5%8D%E0%A4%B0%E0%A5%80-%E0%A4%B6%E0%A5%8D%E0%A4%B0%E0%A5%80-%E0%A4%A8%E0%A4%B0%E0%A5%87%E0%A4%A8%E0%A5%8D-45/", "text": "ఎలక్ట్రానిక్స్, ఇంకా సమాచార సాంకేతిక విజ్ఞానం రంగంలో ద్వైపాక్షిక సహకారాన్ని పెంపొందింపచేయడంలో భారతదేశానికి మరియు అంగోలా కు మధ్య అవగాహనపూర్వక ఒప్పందాన్ని (ఎమ్ఒయు ను) గురించి ప్రధాన మంత్రి శ్రీ నరేంద్ర మోదీ అధ్యక్షతన జరిగిన కేంద్ర మంత్రివర్గ సమావేశం దృష్టి కి తీసుకువ‌చ్చారు. ఈ ఎమ్ఒయు ఇ-గవర్నెన్స్, సమాచార సాంకేతిక విజ్ఞాన సంబంధ విద్య కు అవసరమైన మానవ వనరుల వికాసం, సమాచార భద్రత, ఎలక్ట్రానిక్స్ హార్డ్ వేర్ తయారీ, ఐటి ఎంబెడెడ్ సాఫ్ట్ వేర్ ఇండస్ట్రీ, టెలిమెడిసిన్ తదితర రంగాలలో సన్నిహిత సహకారాన్ని పెంపొందింపచేయడానికి ఉద్దేశించినటువంటిది", "summary": "मंत्रिमंडल को इलेक्‍ट्रॉनिक्‍स एवं संचना प्रौद्योगिकी के क्षेत्र में द्विपक्षीय सहयोग के लिए भारत और अंगोला के बीच समझौता ज्ञापन से अवगत कराया गया" }

数据字段

• source_url: 表示源文章URL的字符串
• target_url: 表示目标文章URL的字符串
• text: 包含文章文本的字符串
• summary: 包含文章摘要的字符串

使用 hf-dataset 类加载数据集

python from datasets import load_dataset

dataset = load_dataset("PMIndiaData/PMIndiaSum", "hindi-telugu")

可以使用以下配置名称的任意组合作为第二个参数：

"assamese", "bengali", "english", "gujarati", "hindi", "kannada", "malayalm", "manipuri", "marathi", "punjabi", "odia", "telugu", "tamil", "urdu"