alwaysgood/wmt24pp-kr-reversed

--- language: - en - ja - ko - zh task_categories: - translation tags: - wmt24pp - machine-translation - multilingual - reversed-directions size_categories: - 1K<n<10K --- # WMT24++ Parallel Mix (Direction-Flipped) - Source dataset dir: `/Users/inertia/Desktop/preprocessing/processed/wmt24pp_parallel_80_20` - Transformation: `direction flip per row (source/target swap)` - Pair+sample_key overlap with source: `0` - Primary(stats): `{'en->ko': 450, 'ko->en': 449}` - Auxiliary(flipped): `ja->en, en->ja, zh->en, en->zh` - Target primary ratio: `0.8000` - Achieved primary ratio: `0.7998` - Tag template: `<{tgt_upper}>` - Text template: `{src_tag} {source} {tgt_tag} {target}` ## Columns `id, dataset, pair_config, pair, source_lang_iso, target_lang_iso, lp, domain, document_id, segment_id, sample_key, is_bad_source, tag, src_tag, tgt_tag, source_text, target_text, text, content`语言: - 英语（en） - 日语（ja） - 韩语（ko） - 中文（zh） 任务类别: - 机器翻译 标签: - wmt24pp - 机器翻译 - 多语言 - 方向翻转 样本规模区间: - 1K<n<10K --- # WMT24++ 并行混合数据集（方向翻转版） - 源数据集目录：`/Users/inertia/Desktop/preprocessing/processed/wmt24pp_parallel_80_20` - 变换方式：`逐行执行方向翻转（源语言与目标语言互换）` - 与源数据集的语料对及样本键重叠度：`0` - 主数据集（统计详情）：`{'英语→韩语': 450, '韩语→英语': 449}` - 辅助翻转数据集：`日语→英语、英语→日语、中文→英语、英语→中文` - 目标主数据集占比：`0.8000` - 实际达成主数据集占比：`0.7998` - 标签模板：`<{目标语言大写}>` - 文本模板：`{源语言标签} {源文本} {目标语言标签} {目标文本}` ## 列字段 `编号、数据集名称、语料对配置、语料对、源语言ISO代码、目标语言ISO代码、语言对（language pair，缩写lp）、领域、文档ID、分段ID、样本键、源文本不合格标记、标签、源语言标签、目标语言标签、源文本、目标文本、拼接文本、完整内容`