m3hrdadfi/wiki_summary

WikiSummary数据集是从波斯维基百科中提取的文章和摘要对，经过清理和长度限制，适用于parsBERT模型。该数据集旨在在文本摘要等NLP任务上实现最先进的结果。数据集包含文章ID、文章链接、文章标题、文章内容和摘要等字段，数据量在10K到100K之间，分为训练集、测试集和验证集。

原始信息汇总

数据集概述

数据集描述

• 数据集名称: WikiSummary
• 语言: 波斯语
• 许可证: Apache 2.0
• 数据集大小: 10K<n<100K
• 源数据: 原始数据
• 任务类别:
  • 文本生成
  • 翻译
  • 问答
  • 摘要
• 任务ID:
  • 抽象问答
  • 解释生成
  • 抽取问答
  • 开放领域问答
  • 开放领域抽象问答
  • 文本简化

数据集结构

数据实例

json { "id": "0598cfd2ac491a928615945054ab7602034a8f4f", "link": "https://fa.wikipedia.org/wiki/انقلاب_1917_روسیه", "title": "انقلاب 1917 روسیه", "article": "نخست انقلاب فوریه ۱۹۱۷ رخ داد . در این انقلاب پس از یک‌سری اعتصابات ، تظاهرات و درگیری‌ها ، نیکولای دوم ، آخرین تزار روسیه از سلطنت خلع شد و یک دولت موقت به قدرت رسید . دولت موقت زیر نظر گئورگی لووف و الکساندر کرنسکی تشکیل شد . اکثر اعضای دولت موقت ، از شاخه منشویک حزب سوسیال دموکرات کارگری روسیه بودند . دومین مرحله ، انقلاب اکتبر ۱۹۱۷ بود . انقلاب اکتبر ، تحت نظارت حزب بلشویک (شاخه رادیکال از حزب سوسیال دموکرات کارگری روسیه) و به رهبری ولادیمیر لنین به پیش رفت و طی یک یورش نظامی همه‌جانبه به کاخ زمستانی سن پترزبورگ و سایر اماکن مهم ، قدرت را از دولت موقت گرفت . در این انقلاب افراد بسیار کمی کشته شدند . از زمان شکست روسیه در جنگ ۱۹۰۵ با ژاپن ، اوضاع بد اقتصادی ، گرسنگی ، عقب‌ماندگی و سرمایه‌داری و نارضایتی‌های گوناگون در بین مردم ، سربازان ، کارگران ، کشاورزان و نخبگان روسیه به‌وجود آمده‌بود . سرکوبهای تزار و ایجاد مجلس دوما نظام مشروطه حاصل آن دوران است . حزب سوسیال دموکرات ، اصلی‌ترین معترض به سیاست‌های نیکلای دوم بود که به‌طور گسترده بین دهقانان کشاورزان و کارگران کارخانجات صنعتی علیه سیاست‌های سیستم تزار فعالیت داشت . در اوت ۱۹۱۴ میلادی ، امپراتوری روسیه به دستور تزار وقت و به منظور حمایت از اسلاوهای صربستان وارد جنگ جهانی اول در برابر امپراتوری آلمان و امپراتوری اتریش-مجارستان شد . نخست فقط بلشویک‌ها ، مخالف ورود روسیه به این جنگ بودند و می‌گفتند که این جنگ ، سبب بدتر شدن اوضاع نابسامان اقتصادی و اجتماعی روسیه خواهد شد . در سال ۱۹۱۴ میلادی ، یعنی در آغاز جنگ جهانی اول ، روسیه بزرگترین ارتش جهان را داشت ، حدود ۱۲ میلیون سرباز و ۶ میلیون سرباز ذخیره ؛ ولی در پایان سال ۱۹۱۶ میلادی ، پنج میلیون نفر از سربازان روسیه کشته ، زخمی یا اسیر شده بودند . حدود دو میلیون سرباز نیز محل خدمت خود را ترک کرده و غالبا با اسلحه به شهر و دیار خود بازگشته بودند . در میان ۱۰ یا ۱۱ میلیون سرباز باقی‌مانده نیز ، اعتبار تزار و سلسله مراتب ارتش و اتوریته افسران بالا دست از بین رفته بود . عوامل نابسامان داخلی اعم از اجتماعی کشاورزی و فرماندهی نظامی در شکستهای روسیه بسیار مؤثر بود . شکست‌های روسیه در جنگ جهانی اول ، حامیان نیکلای دوم در روسیه را به حداقل خود رساند . در اوایل فوریه ۱۹۱۷ میلادی اکثر کارگران صنعتی در پتروگراد و مسکو دست به اعتصاب زدند . سپس شورش به پادگان‌ها و سربازان رسید . اعتراضات دهقانان نیز گسترش یافت . سوسیال دموکرات‌ها هدایت اعتراضات را در دست گرفتند . در ۱۱ مارس ۱۹۱۷ میلادی ، تزار وقت روسیه ، نیکلای دوم ، فرمان انحلال مجلس روسیه را صادر کرد ، اما اکثر نمایندگان مجلس متفرق نشدند و با تصمیمات نیکلای دوم مخالفت کردند . سرانجام در پی تظاهرات گسترده کارگران و سپس نافرمانی سربازان در سرکوب تظاهرکنندگان در پتروگراد ، نیکلای دوم از مقام خود استعفا داد . بدین ترتیب حکم‌رانی دودمان رومانوف‌ها بر روسیه پس از حدود سیصد سال پایان یافت .", "highlights": "انقلاب ۱۹۱۷ روسیه ، جنبشی اعتراضی ، ضد امپراتوری روسیه بود که در سال ۱۹۱۷ رخ داد و به سرنگونی حکومت تزارها و برپایی اتحاد جماهیر شوروی انجامید . مبانی انقلاب بر پایه صلح-نان-زمین استوار بود . این انقلاب در دو مرحله صورت گرفت : در طول این انقلاب در شهرهای اصلی روسیه همانند مسکو و سن پترزبورگ رویدادهای تاریخی برجسته‌ای رخ داد . انقلاب در مناطق روستایی و رعیتی نیز پا به پای مناطق شهری در حال پیشروی بود و دهقانان زمین‌ها را تصرف کرده و در حال بازتوزیع آن در میان خود بودند ." }

数据字段

• id: 文章ID
• link: 文章链接
• title: 文章标题
• article: 文章全文内容
• highlights: 文章摘要

数据分割

Train	Test	Validation
45,654	5,638	5,074

数据集创建

数据集创建者

数据集由Mehrdad Farahani创建。

许可证信息

Apache License 2.0

引用信息

@misc{Bert2BertWikiSummaryPersian, author = {Mehrdad Farahani}, title = {Summarization using Bert2Bert model on WikiSummary dataset}, year = {2020}, publisher = {GitHub}, journal = {GitHub repository}, howpublished = {https://github.com/m3hrdadfi/wiki-summary}, }