trnews-64

trnews-64 dataset

trnews-64 is a character language modeling dataset that contain 64 million words of news articles and columns.It can be utilized as a benchmark for different modeling long range dependencies in Turkish language.

This dataset contains a mix of news articles from different topics and journals from different domains retrieved from TS Timeline Corpus.

Preprocessing

This dataset was preprocessed and clean from infrequent characters. The main character set is shared in the file `tr.charset.json`, which contains 124 characters in total. This includes Turkish upper/lower case characters along with punctuations and some other common characters.

Details

Dataset splits are shared in raw text format and the articles are seperated by empty lines.

Example:

Dolar dün 2.5075 liraya kadar çıkarak rekor kırmasının ordından bugün 2.49 - 2.50 lira aralığında hareket etti. Cari işlemler açığının beklentilere paralel gelmesinin de etkisiyle 2.4820 liraya kadar çekilen dolar, daha sonra gelens alımlarla 2.5085'e çıkarak rekorunu tazeledi. ABD para birimi daha sonra 2.5050 - 2.5070 düzeylerinde hareket ederken, euro da 2.8380 lira düzeylerine çıktı ve yarı yarıya euro ve dolardan oluşan döviz sepeti de 2.63 düzeyinin üstüne çıktı.

DW Türkçe Servisi'nin aktardığına göre, 'Aghet' (Ağıt) konserinin Almanya'nın İstanbul Başkonsolosluğu'ndaki temsiline Cumhurbaşkanı Recep Tayyip Erdoğan da davet edildi. Alman haber ajansı dpa'nın haberinde, Erdoğan'ın yanı sıra Başbakan Binali Yıldırım, Dışişleri Bakanı Mevlüt Çavuşoğlu ile Kültür ve Turizm Bakanı Nabi Avcı'nın da davetliler arasında olduğu belirtildi. Habere göre, gönderilen davetiyelerde etkinlikte 'Türk ve Ermeni geçmişlerindeki yaralar' ile ifade ve sanat özgürlüğünün ele alınacağı ifade edildi. Dresden Senfoni Orkestrası tarafından hazırlanan 'Aghet' konseri, İstanbul Başkonsolosluğu'nda 13 Kasım'da gerçekleştirilecek. Etkinlikte ayrıca Türk-Ermeni-Alman Dostluk Derneği'nin kurulması planlanıyor.

Splitting articles

To seperate articles with their titles you can use this snippet:

import re

with open("trnews-64.test.raw") as fi:
articles = re.split("\n\n", fi.read())

Contact

Ali Safaya (alisafaya at gmail dot com).