EtymologyTaggerDataset
收藏资源简介：
English Etymology Tagger Dataset 是一个从 Wiktionary 条目中提取并经过精炼的英语词源标注数据集，数据来源于 Kaikki 提供的机器可读 JSONL 格式。原始数据包含 1,465,676 个英语条目，经过筛选和处理后，最终用于训练和评估的数据点为 83,204 个。数据集统计显示，前 10 大源语言包括拉丁语（23.24%）、英语（20.54%）、法语（16.35%）等，同时标注了单词的词源机制，如借用（56.34%）、派生（44.81%）等。数据经过语言整合、标签阈值处理、排除非词源标签等步骤，并对高频类别进行了随机欠采样以缓解不平衡问题。该数据集适用于词源分类和文本分类任务，但需注意其仅反映 Wiktionary 模板中的主要词源路径，可能无法涵盖复杂术语的所有历史细节。
The English Etymology Tagger Dataset is a refined English etymology tagging dataset extracted from Wiktionary entries, sourced from machine-readable JSONL format provided by Kaikki. The original data contains 1,465,676 English entries, which are filtered and processed to yield 83,204 data points for training and evaluation. The dataset statistics show the top 10 source languages including Latin (23.24%), English (20.54%), French (16.35%), etc., and also tags the etymological mechanisms of words, such as borrowing (56.34%), derivation (44.81%), etc. The data has undergone language consolidation, label thresholding, exclusion of non-etymological tags, and random undersampling of high-frequency categories to alleviate imbalance issues. This dataset is suitable for etymology classification and text classification tasks, but it should be noted that it only reflects the main etymological paths in Wiktionary templates and may not cover all historical details of complex terms.
数据集概述：English Etymology Tagger Dataset
基本信息
- 数据集名称：English Etymology Tagger Dataset
- 许可证：CC-BY-SA-4.0
- 语言：英语
- 任务类别：词元分类（token-classification）、文本分类（text-classification）
- 数据集大小：102,111 条记录（训练集）
数据来源
数据来源于 Kaikki 平台发布的英语维基词典（Wiktionary）条目，经过 wiktextract 工具解析后提取出包含词源模板的条目。原始数据包含 1,465,676 条英语条目，最终提取出 102,111 条有效记录。
数据特征
每条记录包含以下字段：
- word：单词（字符串）
- display_word：显示用单词（字符串）
- parts_of_speech：词性（字符串序列）
- etymology_texts：词源文本（字符串序列）
- pairs：词源对列表，每个词源对包含：
- mechanism：词源机制
- source_language：源语言
- source_code：源语言代码
- source_term：源语言词条
- template：词源模板
- detail：详细信息
- source_languages：源语言列表（字符串序列）
- mechanisms：词源机制列表（字符串序列）
词源机制分布
数据集将词源归为四种主要机制（一个词可能有多个标签）：
| 机制 | 频次 | 占比 |
|---|---|---|
| 借词（borrowed） | 57,530 | 56.34% |
| 派生（derived） | 45,760 | 44.81% |
| 继承（inherited） | 18,032 | 17.66% |
| 仿译（calqued） | 2,231 | 2.18% |
注：占比总和超过100%，因为一个词可能有多个词源标签。
源语言分布（前10名）
| 语言 | 频次 | 占比 |
|---|---|---|
| 拉丁语（合并） | 23,728 | 23.24% |
| 英语（合并） | 20,974 | 20.54% |
| 法语（合并） | 16,694 | 16.35% |
| 希腊语（合并） | 10,074 | 9.87% |
| 德语（合并） | 7,300 | 7.15% |
| 汉语（合并） | 5,017 | 4.91% |
| 意大利语 | 4,729 | 4.63% |
| 原始日耳曼语（合并） | 4,692 | 4.59% |
| 西班牙语 | 4,628 | 4.53% |
| 原始印欧语 | 4,097 | 4.01% |
| 其他（所有低于1%的语言） | 30,339 | 29.71% |
数据处理与规范化
- 语言合并：将常见的历史和区域变体映射到其主要语系，以减少稀疏性。合并的语系包括：拉丁语、英语、法语、德语、希腊语、汉语、荷兰语、苏格兰语和原始日耳曼语。
- 排除项：移除非词源标签（如“跨语言”）或结构上空的模板。
局限性
数据集仅反映维基词典模板中记录的主要词源路径，可能无法涵盖复杂词汇的全部历史细节。
