saarus72/pikabu_text_norm

---
license: apache-2.0
task_categories:
- text-generation
language:
- ru
size_categories:
- 1M<n<10M
---

Texts inverse normalized obtained from [pikabu](https://huggingface.co/datasets/IlyaGusev/pikabu) dataset.
Normalized using [these notebooks](https://github.com/saarus72/text_normalization) for a personal [russian normalization model](https://huggingface.co/saarus72/russian_text_normalizer) (avaliable on [HF Space](https://huggingface.co/spaces/saarus72/russian-text-normalization) as well).

All put into single `jsonl` file with lines like (beautified):
```json
{
"tn": "\\- Ну как так то? У нас в Норильске при минус сорока градусах в буран люди не замерзают, а у вас при минус десяти без ветра человек насмерть замёрз?",
"itn": "\\- Ну как так то? У нас в Норильске при минус 40 градусах в буран люди не замерзают, а у вас при минус 10 без ветра человек насмерть замёрз?",
"orig_index": 7178627,
"text_index": 1,
"replaces": [
{
"text_from": "\\- Ну как так то? У нас в Норильске при минус ",
"text_to": "\\- Ну как так то? У нас в Норильске при минус "
},
{
"text_from": "40",
"text_to": "сорока"
},
{
"text_from": " градусах в буран люди не замерзают, а у вас при минус ",
"text_to": " градусах в буран люди не замерзают, а у вас при минус "
},
{
"text_from": "10",
"text_to": "десяти"
},
{
"text_from": " без ветра человек насмерть замёрз?",
"text_to": " без ветра человек насмерть замёрз?"
}
]
}
```

原始信息汇总

数据集概述

许可证

• Apache 2.0

任务类别

• 文本生成

语言

• 俄语

数据集大小

• 1M<n<10M

数据格式

• 数据以单个 jsonl 文件形式提供，每行包含以下字段：
  • tn: 标准化文本
  • itn: 逆标准化文本
  • orig_index: 原始文本索引
  • text_index: 文本索引
  • replaces: 替换信息列表，每个替换包含 text_from 和 text_to 字段

示例数据

json { "tn": "- Ну как так то? У нас в Норильске при минус сорока градусах в буран люди не замерзают, а у вас при минус десяти без ветра человек насмерть замёрз?", "itn": "- Ну как так то? У нас в Норильске при минус 40 градусах в буран люди не замерзают, а у вас при минус 10 без ветра человек насмерть замёрз?", "orig_index": 7178627, "text_index": 1, "replaces": [ { "text_from": "- Ну как так то? У нас в Норильске при минус ", "text_to": "- Ну как так то? У нас в Норильске при минус " }, { "text_from": "40", "text_to": "сорока" }, { "text_from": " градусах в буран люди не замерзают, а у вас при минус ", "text_to": " градусах в буран люди не замерзают, а у вас при минус " }, { "text_from": "10", "text_to": "десяти" }, { "text_from": " без ветра человек насмерть замёрз?", "text_to": " без ветра человек насмерть замёрз?" } ] }