MedTranslation-Data-v4

## 数据概览 | 子集 | 文件 | 条数 | 用途 | |------|------|:--:|------| | 训练集 | `sft_med_full_train.jsonl` | 95,089 | LoRA SFT 训练 | | 验证集 | `sft_med_full_dev.jsonl` | 10,565 | 训练中每 1,000 步验证（早停依据，patience=3） | | 全文 gold 测试集 | `gold_testset_60papers.jsonl` | 641 块 / 60 篇 | BLEU/chrF/EM/COMET 评测（无泄漏） | --- ## 训练数据构成 | 数据源 | 条数 | 领域 | 来源说明 | |------|:--:|------|------| | ParaMed (NEJM) | 54,445 | 医学 | 新英格兰医学杂志专业人工译文 | | NEJM 块级全文 | 12,481 | 文献 | NEJM 医学前沿中英双语段落对（本版新增） | | PMC 摘要 | 8,977 | 文献 | PubMed Central 摘要平行语料 | | 100 篇文献 LOO 金译 | 1,796 | 文献 | 100 篇全文分块，4 评委盲评共识选优 | | UN Parallel | 8,682 | 通用 | 联合国平行语料（保持通用能力） | | News Commentary | 8,708 | 通用 | 新闻评论语料（保持通用能力） | | **合计** | **95,089** | 医学/文献 ~82% · 通用 ~18% | | 构建脚本：`../../train/data_prep/build_sft_full.py`。 --- ## 数据处理管线 ### NEJM 医学前沿语料（660 篇双语文章） ``` NEJM_crawl 双语语料库（660 篇，nejmqianyan.cn 专业编辑中英对照） │ ① 分配：419 篇入训练池（块级样本），50 篇划入评测 holdout（零交集） │ ② 训练侧：篇内连续段落合并为 ~2,450 字符块（≈700 token）， │ 过滤纯符号/单语种块与长度异常块 → 12,481 条 nejm_paragraph ▼ 并入训练集（DOI 文档级排除评测论文 + 精确去重） holdout 50 篇 → 按 ~700 token 分块 → gold_testset 人工金译部分（359 块） （构建脚本 ../../NEJM_crawl/build_60papers_testset.py） ``` ### 文献 LOO 金译（沿用 v3 管线） 100 篇医学文献全文经 Markdown 感知分块后由 5 家 API 翻译、4 位 LLM 评委 LOO 盲评（每家不评审自己的译文），按共识规则（全票/过半/均分兜底）选出金译：10 篇进入评测集（282 块），100 篇中 1,796 条并入训练。 --- ## 数据格式 ### 训练集 / 验证集 Chat 格式 JSONL，每行一条。30.4% 样本带术语注入（注入源文真实出现的术语，要求译文严格采用指定译名）： ```json { "messages": [ {"role": "user", "content": "Translate the following segment from English to Chinese, without additional explanation.\n\nTerminology (must use these translations):\n- metformin -> 二甲双胍\n\nSegment: ...\n\nChinese translation:"}, {"role": "assistant", "content": "中文译文..."} ], "src": "英文原文", "tgt": "中文参考译文", "applied_terms": [{"en": "metformin", "zh": "二甲双胍"}], "terms_available": true, "source": "paramed", "domain": "medical" } ``` `source` 取值：`paramed` / `nejm_paragraph` / `pmc_abstract` / `literature_gold` / `un_parallel` / `news_commentary`。 ### 全文 gold 测试集（gold_testset_60papers.jsonl） ```json { "pmid": "10.1056/NEJMoa2302099", "chunk_id": 3, "src": "英文原文块（NEJM 块 src 中位 2,674 字符 / loo5 块中位 1,538 字符）", "gold": "参考译文", "gold_model": "nejm_qianyan_human", "gold_reason": "NEJM医学前沿专业编辑人工译文", "consensus": {"tier": "human", "margin": null, "votes": null, "best_votes": null}, "local": null, "article_type": "Original Article", "title_en": "...", "title_cn": "...", "source": "nejm_qianyan" } ``` 字段说明： - `source`：`nejm_qianyan`（50 篇 / 359 块，人工金译）或 `literature_loo5`（10 篇 / 282 块，API 共识金译）； - loo5 部分 `gold_reason`：`unanimous-best(n/4)` 全票 / `majority-best(n/4)` 过半 / `highest-mean(x.xx)` 均分兜底；`consensus.tier`：high / mid / low； - 共识分布（loo5 282 块）：high 51 / mid 123 / low 108；金译来源：qwen 94、deepseek 80、kimi 60、gpt 28、glm 20； - NEJM 部分 `pmid` 为 DOI 字符串，金译全部为 `nejm_qianyan_human`（tier=human）。 --- ## 质量保障（防泄漏机制） 1. **DOI 文档级排除**：660 篇 NEJM 语料库中 419 篇入训、50 篇评测，holdout 名单维护于 `../../NEJM_crawl/nejm_holdout_dois.txt`，训练构建时强制跳过；loo5 的 10 篇同样以 pmid 黑名单排除； 2. **块级 8-gram 泄漏审计**：新增 40 篇评测论文逐块与全量 10.5 万训练样本比对，共享 8-gram ≥80% 即剔除——实际拦截 3 篇重叠论文并换篇； 3. **全局复检**：最终 302 个新块整体复检，**0 泄漏**； 4. **精确去重**：训练构建时对各来源做源文精确去重与文档级评测重叠剔除。 --- ## 评测口径提示 - loo5 282 块金译为"API 最佳译文共识"，BLEU/EM 口径对 API 系统有风格循环偏向；NEJM 359 块人工金译独立于 API 生态，是更严格的质量口径； - 两种口径的 7 系统（4 API + 3 模型）对比结果见 `../results_60papers/metrics/unified_comparison{,_nejm}.json`。 --- ## 配套模型 - 模型：[InfoxmedModel/InfoMed-MT4-7B-MedZh](https://modelscope.cn/models/InfoxmedModel/InfoMed-MT4-7B-MedZh)（LoRA 已合并，`from_pretrained` 直接加载；本地副本见 `../merged_model/`） --- ## 许可与声明 本数据集仅供研究学习使用。NEJM 医学前沿内容为《新英格兰医学杂志》中文版合作内容，相关版权归原出版方所有；loo5 部分金译为机器译文共识选优结果（非人工专业译文）。医学翻译内容不构成医疗建议。 --- *Infoxmed 团队 · 2026年8月*