托尔斯泰全集清洗语料

# Tolstoy Complete Works — Cleaned Russian Corpus (托尔斯泰全集·清洗语料) 公有领域俄语文学语料：列夫·托尔斯泰《全集》经清洗、归一化后的 Markdown 文本， 用于语言建模、文学/语料研究、检索与阅读伴读等。 - **作者**：Лев Николаевич Толстой（列夫·托尔斯泰，1828–1910）—— **公有领域**（作者逝世逾百年）。 - **来源**：原始电子文本取自公开站点 `tolstoy.ru`（全集 fb2/epub），仅作清洗加工，未含任何受限内容。 - **体量**：`cleaned/` 共 **45** 卷 Markdown，约 **92.8 MB** 纯文本。 ## 目录结构 ``` . ├── cleaned/ # 清洗后的全集正文，每卷一个 .md（UTF-8） └── metadata/ # 加工元数据（非正文） ├── manifest.json # 各卷来源/格式/字节数（含 tolstoy.ru 源 URL） ├── works_manifest.json # 作品级清单（标题/卷次） ├── convert_report.json # fb2/epub → 文本 转换报告 ├── clean_report.json # 每卷清洗统计（去样板、同形异义字修正、字符保留率等） └── charbalance_target.json# 西里尔字符量目标/分区统计 ``` ## 清洗处理（见 `metadata/clean_report.json`） - fb2/epub → 纯文本/Markdown 转换； - 去除版式样板（front-matter / 注释装置等非正文）； - 同形异义字（homoglyph）修正、空白归一化； - 记录每卷西里尔字符保留率（`cyrillic_loss_pct` 多在 0.2~0.3% 量级）以保证正文完整。 ## 用途 适合：俄语语言模型预训练/续训语料、文学文本分析、风格/主题研究、RAG 知识库、阅读伴读。 ## 许可与署名 - **正文文本**：公有领域（Public Domain，作者逝于 1910）。 - **清洗/组织产物**（本仓库的整理方式与元数据）：CC0-1.0。 - 原始电子版权归 `tolstoy.ru` 所示来源；本语料仅做学术/研究用途的清洗再分发。