swiss-german-wiki-pairs
收藏资源简介：
该数据集是瑞士德语与标准德语的平行语料库，包含88,977对翻译样本，源自Alemannic Wikipedia上的10,776篇文章，并经过筛选仅保留瑞士阿勒曼尼语内容。数据集的德语部分（de_text）由DeepSeek v3.2模型机器翻译生成，因此不应用于机器翻译系统的基准测试，但适合作为训练数据。每条记录包含四个字段：source（文章标题）、gsw_text（人类撰写的瑞士德语段落）、de_text（机器翻译的标准德语）、dialect（作者自报的方言，若未声明则为null，覆盖率为19.2%）。方言标签来自维基百科模板，作者自愿添加，未声明不代表非瑞士德语。数据集可用于机器翻译和文本分类等任务，遵循CC BY-SA 4.0许可证。
This dataset is a parallel corpus of Swiss German and Standard German, containing 88,977 translation pairs sourced from 10,776 articles on Alemannic Wikipedia, filtered to retain only Swiss Alemannic content. The German part (de_text) was machine-translated by the DeepSeek v3.2 model, so it should not be used for benchmarking machine translation systems but is suitable as training data. Each record includes four fields: source (article title), gsw_text (human-written Swiss German paragraphs), de_text (machine-translated Standard German), and dialect (author-reported dialect, null if not declared, coverage 19.2%). Dialect tags come from Wikipedia templates, voluntarily added by authors; absence does not imply non-Swiss German. The dataset can be used for tasks such as machine translation and text classification, and is licensed under CC BY-SA 4.0.
数据集概述
Swiss German Wikipedia Parallel Corpus (real gsw, synthetic de) 是一个瑞士德语（gsw）与标准德语（de）的平行语料数据集，包含 88,977 对翻译样本，来源于 10,776 篇 Alemannic 维基百科文章，并经过过滤仅保留瑞士阿勒曼尼方言内容。
核心信息
| 项目 | 详情 |
|---|---|
| 语言对 | gsw-CH（瑞士德语）↔ deu-Latn（标准德语） |
| 数据规模 | 10K < n < 100K |
| 许可证 | CC BY-SA 4.0（继承自维基百科） |
| 类别 | 翻译、文本分类 |
| 创建者 | 机器生成（德语侧），人工撰写（瑞士德语侧）+ 众包标注（方言标签） |
| 数据格式 | Parquet（默认配置） |
数据构成
主要字段
| 列名 | 描述 |
|---|---|
source |
文章在 als.wikipedia.org 上的标题 |
gsw_text |
人工撰写的瑞士德语段落 |
de_text |
由 DeepSeek v3.2 机器翻译的标准德语 |
dialect |
作者自我报告的方言（19.2% 覆盖率），未标明则为 null |
方言标签说明
- 方言标签来自维基百科的
{{Dialekt}}模板，由作者自愿添加。 null仅表示作者未声明方言，不意味着 该行不属于瑞士德语。
瑞士德语文本的分类方法
- 作者声明标签：移除明确声明为阿尔萨斯语、施瓦本语、福拉尔贝格语等非瑞士方言的文章（共 7,352 篇文章携带方言标签）。
- 分类器过滤：基于 3,315 篇已标记文章训练 fastText 字符 n-gram 模型，逐篇文章分类并传播至其所有行。
使用限制与注意事项
de_text为机器翻译生成，不应作为机器翻译系统评测的参考译文，仅适合作为训练数据。- 方言标签为未经审计的自我报告，可能存在误差。
许可证与出处
- 采用 CC BY-SA 4.0 许可证，衍生作品必须保持相同许可证。
- 源文本版权归 Alemannic 维基百科贡献者所有，需通过
source列进行逐行署名，署名链接格式为：https://als.wikipedia.org/wiki/{source}（示例链接为 https://als.wikipedia.org/wiki/某文章标题）。 - 德语翻译由 DeepSeek v3.2（MIT 许可证）生成，不附加额外使用限制。
