foss22/common_corpus_pre1939_Russsian

--- language: - ru --- Демонстрация низкого качества OCR/HTR, поражающего обучающие датасеты на русском 19 века и ранее. Использовать для тестирования спеллчекеров и корректоров. TODO: common_corpus_pre1939_Russian -как результат коррекции, вместо нынешнего некачественного common_corpus_pre1939_Russsian Лицензия кау у исходного PleIAs/common_corpus Мотивация: https://huggingface.co/datasets/PleIAs/common_corpus/discussions/2#67adb8aba035b45ce76b33dd Feb 13, 2025 A language column was added in Common Corpus 2.0, so filtering on language is now possible. Thanks! It does however require processing the entire 10+ TB dataset. Having separate subsets or releases per language would be quite convenient.语言： - 俄语 本数据集用于展示影响19世纪及更早俄语训练数据集的低质量光学字符识别（Optical Character Recognition, OCR）与手写文本识别（Handwritten Text Recognition, HTR）效果。 可用于拼写检查器与校正器的测试工作。 待办事项： common_corpus_pre1939_Russian — 作为校正后的结果，替代当前存在的低质量版本 common_corpus_pre1939_Russsian 本数据集的许可证与原始PleIAs/common_corpus数据集保持一致。 项目动机： https://huggingface.co/datasets/PleIAs/common_corpus/discussions/2#67adb8aba035b45ce76b33dd 2025年2月13日 《通用语料库2.0》已新增语言列，因此现在可基于语言进行筛选。感谢反馈！但这需要处理整个10TB以上的数据集。若能按语言提供独立的子数据集或发布版本，将极大提升使用便利性。