sol-r/historica-pairs

--- language: - grc - la - he - cop - ang - non - got - cu - xcl - en license: cc-by-sa-4.0 task_categories: - translation tags: - ancient-languages - parallel-text - cross-lingual - bilingual pretty_name: Historica Pairs v2 size_categories: - 100K<n<1M --- # Historica Pairs v2 **100,379 aligned text pairs** across 30 language directions, covering ancient Greek, Latin, Hebrew, Coptic, Gothic, Old Church Slavonic, Armenian, Old English, and Old Norse. ## What's New in v2 - **New schema**: `text_a`/`text_b`/`language_a`/`language_b` (replaces misleading `original`/`english`) - **PROIEL punctuation**: reconstructed from `presentation-after` attributes (was depunctuated) - **First1KGreek alignment fixed**: `n`-attribute matching instead of positional (eliminates misaligned translations) - **Length ratio guard**: pairs with >5:1 length mismatch are dropped - **Entity resolution**: saga and edda pairs have entities resolved - **Language codes fixed**: saga Swedish correctly tagged as `swe` (was `sme`) ## Language Pairs | Direction | Pairs | Source | |-----------|------:|--------| | grc↔eng | 34,612 | Perseus, Bible, First1KGreek | | lat↔eng | 29,520 | Perseus, Bible, Corpus Iuris | | heb↔eng | 14,710 | Bible | | cop↔eng | 4,757 | Coptic Bible | | cop↔lat | 4,756 | Coptic Bible | | cop↔grc | 4,752 | Coptic Bible | | ang↔eng | 2,632 | OEDT | | non↔eng | 2,327 | SagaDB, Poetic Edda | | grc↔lat | 418 | First1KGreek | | non↔nob | 350 | SagaDB | | non↔swe | 220 | SagaDB | | non↔fra | 165 | SagaDB | | non↔deu | 150 | SagaDB | | got↔grc | 130 | PROIEL | | got↔lat | 119 | PROIEL | | grc↔chu | 85 | PROIEL | | non↔dan | 75 | SagaDB | | got↔chu | 56 | PROIEL | | xcl↔grc/lat/chu/got | 93 | PROIEL | ## Sources | Source | Pairs | Description | |--------|------:|-------------| | Bible | 54,345 | Hebrew + Greek + Latin + English (verse-aligned) | | Perseus | 15,918 | Classical Greek + Latin ↔ English | | Coptic Bible | 14,265 | Bohairic NT ↔ Greek/Latin/English | | First1KGreek | 7,417 | Greek ↔ English/Latin (section-aligned by `n` attribute) | | OEDT | 2,632 | Old English ↔ Modern English (sentence-aligned) | | SagaDB | 2,081 | Old Norse ↔ English/German/French/Swedish/Norwegian/Danish | | Poetic Edda | 1,573 | Old Norse ↔ English (stanza-aligned) | | Corpus Iuris | 1,366 | Roman law Latin ↔ English (section-aligned) | | PROIEL | 782 | 5-way parallel NT: Greek ↔ Gothic ↔ Latin ↔ OCS ↔ Armenian | ## Schema | Column | Type | Description | |--------|------|-------------| | `id` | string | Unique pair identifier | | `source` | string | Source collection | | `language_a` | string | ISO 639-3 code for text_a | | `language_b` | string | ISO 639-3 code for text_b | | `text_a` | string | Source text | | `text_b` | string | Target text | | `author` | string | Author (where known) | | `work` | string | Work title | | `ref` | string | Internal reference (verse, chapter, section) | | `urn` | string | CTS/URN identifier | | `genre` | string | Genre | | `tradition` | string | Tradition |language: - 古希腊语（Ancient Greek，grc） - 拉丁语（Latin，la） - 希伯来语（Hebrew，he） - 科普特语（Coptic，cop） - 古英语（Old English，ang） - 古诺斯语（Old Norse，non） - 哥特语（Gothic，got） - 古教会斯拉夫语（Old Church Slavonic，cu） - 古典亚美尼亚语（Classical Armenian，xcl） - 英语（English，en） license: CC BY-SA 4.0 task_categories: - 翻译 tags: - 古代语言（ancient-languages） - 并行文本（parallel-text） - 跨语言（cross-lingual） - 双语（bilingual） pretty_name: Historica Pairs v2 size_categories: - 100000 < 样本数 < 1000000 # Historica Pairs v2 **涵盖30种语言方向的100379对对齐文本对**，覆盖古希腊语、拉丁语、希伯来语、科普特语、哥特语、古教会斯拉夫语、古典亚美尼亚语、古英语与古诺斯语。 ## 版本v2更新内容 - **全新字段架构**：采用`text_a`/`text_b`/`language_a`/`language_b`字段（替代此前易产生歧义的`original`/`english`字段） - **PROIEL标点重构**：从`presentation-after`属性中还原标点符号（此前版本曾移除标点） - **First1KGreek对齐修正**：改用`n`属性匹配而非位置匹配，消除了错位翻译问题 - **长度比例过滤**：移除文本长度比例超过5:1的文本对 - **实体消歧处理**：对萨迦与埃达类文本对完成实体消歧 - **语言代码修正**：将萨迦文本中的瑞典语正确标记为`swe`（此前错误标记为`sme`） ## 语言对列表 | 语言方向 | 文本对数量 | 数据来源 | |-----------|------:|--------| | grc↔eng | 34,612 | Perseus、圣经、First1KGreek | | lat↔eng | 29,520 | Perseus、圣经、《民法大全》（Corpus Iuris） | | heb↔eng | 14,710 | 圣经 | | cop↔eng | 4,757 | 科普特语圣经 | | cop↔lat | 4,756 | 科普特语圣经 | | cop↔grc | 4,752 | 科普特语圣经 | | ang↔eng | 2,632 | OEDT | | non↔eng | 2,327 | SagaDB、《埃达诗集》（Poetic Edda） | | grc↔lat | 418 | First1KGreek | | non↔nob | 350 | SagaDB | | non↔swe | 220 | SagaDB | | non↔fra | 165 | SagaDB | | non↔deu | 150 | SagaDB | | got↔grc | 130 | PROIEL | | got↔lat | 119 | PROIEL | | grc↔chu | 85 | PROIEL | | non↔dan | 75 | SagaDB | | got↔chu | 56 | PROIEL | | xcl↔grc/lat/chu/got | 93 | PROIEL | ## 数据来源 | 来源名称 | 文本对数量 | 详细描述 | |--------|------:|-------------| | 圣经 | 54,345 | 希伯来语、希腊语、拉丁语、英语平行文本（按诗句对齐） | | Perseus | 15,918 | 古典希腊语、拉丁语↔英语平行文本 | | 科普特语圣经 | 14,265 | 博海里克语新约↔希腊语、拉丁语、英语平行文本 | | First1KGreek | 7,417 | 希腊语↔英语、拉丁语平行文本（通过`n`属性按章节对齐） | | OEDT | 2,632 | 古英语↔现代英语平行文本（按句子对齐） | | SagaDB | 2,081 | 古诺斯语↔英语、德语、法语、瑞典语、挪威语、丹麦语平行文本 | | 《埃达诗集》 | 1,573 | 古诺斯语↔英语平行文本（按诗节对齐） | | 《民法大全》（Corpus Iuris） | 1,366 | 罗马法拉丁语↔英语平行文本（按章节对齐） | | PROIEL | 782 | 五语平行新约文本：希腊语↔哥特语↔拉丁语↔古教会斯拉夫语↔亚美尼亚语 | ## 字段架构 | 字段名 | 数据类型 | 详细描述 | |--------|------|-------------| | `id` | 字符串 | 唯一的文本对标识符 | | `source` | 字符串 | 来源数据集名称 | | `language_a` | 字符串 | 文本`text_a`对应的ISO 639-3语言代码 | | `language_b` | 字符串 | 文本`text_b`对应的ISO 639-3语言代码 | | `text_a` | 字符串 | 源文本 | | `text_b` | 字符串 | 目标文本 | | `author` | 字符串 | 作者（已知时填写） | | `work` | 字符串 | 作品标题 | | `ref` | 字符串 | 内部引用（如诗句、章节、段落编号） | | `urn` | 字符串 | CTS/URN 标识符 | | `genre` | 字符串 | 文本体裁 | | `tradition` | 字符串 | 文本传统