saarus72/pikabu_text_norm

--- license: apache-2.0 task_categories: - text-generation language: - ru size_categories: - 1M<n<10M --- Texts inverse normalized obtained from [pikabu](https://huggingface.co/datasets/IlyaGusev/pikabu) dataset. Normalized using [these notebooks](https://github.com/saarus72/text_normalization) for a personal [russian normalization model](https://huggingface.co/saarus72/russian_text_normalizer) (avaliable on [HF Space](https://huggingface.co/spaces/saarus72/russian-text-normalization) as well). All put into single `jsonl` file with lines like (beautified): ```json { "tn": "\\- Ну как так то? У нас в Норильске при минус сорока градусах в буран люди не замерзают, а у вас при минус десяти без ветра человек насмерть замёрз?", "itn": "\\- Ну как так то? У нас в Норильске при минус 40 градусах в буран люди не замерзают, а у вас при минус 10 без ветра человек насмерть замёрз?", "orig_index": 7178627, "text_index": 1, "replaces": [ { "text_from": "\\- Ну как так то? У нас в Норильске при минус ", "text_to": "\\- Ну как так то? У нас в Норильске при минус " }, { "text_from": "40", "text_to": "сорока" }, { "text_from": " градусах в буран люди не замерзают, а у вас при минус ", "text_to": " градусах в буран люди не замерзают, а у вас при минус " }, { "text_from": "10", "text_to": "десяти" }, { "text_from": " без ветра человек насмерть замёрз?", "text_to": " без ветра человек насмерть замёрз?" } ] } ```

原始信息汇总

数据集概述

许可证

• Apache 2.0

任务类别

• 文本生成

语言

• 俄语

数据集大小

• 1M<n<10M

数据格式

• 数据以单个 jsonl 文件形式提供，每行包含以下字段：
  • tn: 标准化文本
  • itn: 逆标准化文本
  • orig_index: 原始文本索引
  • text_index: 文本索引
  • replaces: 替换信息列表，每个替换包含 text_from 和 text_to 字段

示例数据

json { "tn": "- Ну как так то? У нас в Норильске при минус сорока градусах в буран люди не замерзают, а у вас при минус десяти без ветра человек насмерть замёрз?", "itn": "- Ну как так то? У нас в Норильске при минус 40 градусах в буран люди не замерзают, а у вас при минус 10 без ветра человек насмерть замёрз?", "orig_index": 7178627, "text_index": 1, "replaces": [ { "text_from": "- Ну как так то? У нас в Норильске при минус ", "text_to": "- Ну как так то? У нас в Норильске при минус " }, { "text_from": "40", "text_to": "сорока" }, { "text_from": " градусах в буран люди не замерзают, а у вас при минус ", "text_to": " градусах в буран люди не замерзают, а у вас при минус " }, { "text_from": "10", "text_to": "десяти" }, { "text_from": " без ветра человек насмерть замёрз?", "text_to": " без ветра человек насмерть замёрз?" } ] }