PolyAgent/wiki_uk_en_parallel

---
language:
- uk
- en
dataset_info:
features:
- name: id
dtype: string
- name: url
dtype: string
- name: title
dtype: string
- name: text
dtype: string
splits:
- name: train
num_bytes: 9744003868
num_examples: 2119045
- name: test
num_bytes: 3764150
num_examples: 1780
download_size: 5366910719
dataset_size: 9747768018
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: test
path: data/test-*
---

Ukrainian dump of the Wikipedia from June 20th 2024, plus equivalent articles from the English Wikipedia same date (turned out similar amount of tokens). Validation is reduced to <0.1% of the dataset for faster evaluation and avoiding losing valuable training data

v2 + spaces of different types and newlines replaced by a single normal space or newline.

v3, but removing stress marks such the ones in Олекса́ндр, as received feedback that they are unwanted

语言：
- 乌克兰语
- 英语
数据集信息：
特征字段：
- 名称：id，数据类型：字符串
- 名称：url，数据类型：字符串
- 名称：title，数据类型：字符串
- 名称：text，数据类型：字符串
数据集划分：
- 名称：训练集（train），字节数：9744003868，样本数：2119045
- 名称：测试集（test），字节数：3764150，样本数：1780
下载大小：5366910719，数据集总大小：9747768018
配置项：
- 配置名称：默认（default），数据文件：
- 划分集：训练集，路径：data/train-*
- 划分集：测试集，路径：data/test-*

本数据集包含2024年6月20日的乌克兰语维基百科存档，以及同日英语维基百科的对应条目，二者的Token数量大致相当。为加快模型评估速度并避免浪费宝贵的训练数据，验证集占比被缩减至数据集的0.1%以下。
v2版本：将各类格式空格与换行符统一替换为单个标准空格或换行符。
v3版本：移除了诸如Олекса́ндр中的重音符号，因收到反馈称此类符号不符合数据集需求。