医学翻译数据集 v3（全文文献增强）

## 数据概览 | 子集 | 文件 | 条数 | 用途 | |------|------|:--:|------| | 训练集 | `train.jsonl` | 27,639 | LoRA SFT 训练（基础医学 25,201 + 全文文献金译 2,438） | | 验证集 | `dev.jsonl` | 2,799 | 训练中每 500 步验证 | | 全文 gold 测试集 | `gold_testset_loo5.jsonl` | 282 块 / 10 篇 | BLEU/chrF/EM/COMET 评测 | 配套术语库（训练时按 35% 概率注入，引用自 `../../sft_v3/data/terminologies/`）： | 术语库 | 条数 | 说明 | |---|:--:|---| | `terms_global_clean.jsonl` | 16,718 | NMPA/UMLS/MeSH/SNOMED 清洗后药物与疾病术语 | | `terms_literature_curated.jsonl` | 254 | 文献高频术语人工精选（统计/方法/分子生物学） | --- ## 训练数据构成 | 数据源 | 条数 | 领域 | 来源说明 | |------|:--:|------|------| | ParaMed (NEJM) | 9,017 | 医学 | 新英格兰医学杂志专业人工译文（句级） | | PMC 摘要 | 8,996 | 文献 | PubMed Central 摘要平行语料 | | UN Parallel | 3,597 | 通用 | 联合国平行语料（保持通用能力） | | News Commentary | 3,591 | 通用 | 新闻评论语料（保持通用能力） | | **全文文献 LOO 金译** | **2,438** | 文献 | 100 篇全文分块，4 评委盲评共识选优（本版新增） | | **合计** | **27,639** | 医学/文献 74% · 通用 26% | | --- ## 文献数据处理管线（2,438 条与 282 块是怎么来的） ``` InfoXmed MongoDB 全文库 (110 篇 = 10 评测 + 100 训练) │ ① 拉取清洗：基础清洗 + LaTeX 希腊字母归一化(\upbeta_{2}→β₂) + PDF 页眉剔除 │ ② Markdown 感知分块：目标 700 token / 上限 1400 / 相邻块 1 段重叠 │ 标题(#开头)强制开新块并作为章节前缀；超长段按句子边界二次切分 ▼ 2,790 个 chunk（token 中位 402，最大 1,445） │ ③ 5 家 API（deepseek/qwen/kimi/zhipu/gpt）共用同一翻译系统提示词逐块翻译 │ ④ 4 位 LLM 评委 LOO 盲评（每家 API 不评审自己的译文），打 术语/忠实/流畅 三维分 │ ⑤ 共识选金译：全票一致→high；严格过半→mid；无过半→评委均分最高兜底(low) ▼ 10 篇 → gold_testset_loo5.jsonl（282 块，评测集） 100 篇 → 2,438 条金译 → ⑥ 并入基础语料（pmid 黑名单 + src 精确去重 + 术语注入） ▼ train.jsonl（27,639 条）→ ⑦ 审计：截断审计(超长仅 0.08%) ``` **分块参数**（`../../translate/pipeline/scripts/02_chunk.py`，按 HY-MT2-7B 真实 tokenizer 计量）： | 参数 | 值 | 说明 | |---|---|---| | CHUNK_TARGET_TOKENS | 700 | 段落累积到目标长度即切块 | | CHUNK_MAX_TOKENS | 1400 | 单块硬上限 | | CHUNK_OVERLAP_PARAS | 1 | 相邻块保留 1 段重叠，衔接上下文 | **金译共识分布**（评测集 282 块）：high 51 / mid 123 / low 108；金译来源：qwen 94、deepseek 80、kimi 60、gpt 28、glm 20。 --- ## 数据格式 ### 训练集 / 验证集 Chat 格式 JSONL，每行一条。约 29.9% 样本带术语注入（seed=42，注入概率 35%，每条最多 3 个源文真实出现的术语）： ```json { "messages": [ {"role": "user", "content": "Translate the following segment from English to Chinese, without additional explanation.\n\nTerminology (must use these translations):\n- celiac artery -> 腹腔动脉\n- aortic dissection -> 主动脉夹层\n\nSegment: ...\n\nChinese translation:"}, {"role": "assistant", "content": "中文译文..."} ], "src": "英文原文", "tgt": "中文参考译文", "applied_terms": ["celiac artery->腹腔动脉"], "terms_available": true, "source": "literature_loo_gold/qwen/qwen3.8-max", "domain": "literature", "pmid": 27321906, "chunk_id": 12 } ``` 无术语样本的 user 内容为：`Translate the following segment from English to Chinese, without additional explanation.\n\nSegment: ...\n\nChinese translation:` 基础语料样本的 `source` 取值为 `paramed` / `pmc_abstract` / `un_parallel` / `news_commentary`。 ### 全文 gold 测试集（gold_testset_loo5.jsonl） ```json { "pmid": 27321906, "chunk_id": 1, "src": "英文原文块（含章节标题，中位 1,538 字符）", "gold": "共识金译", "gold_model": "kimi/kimi-k2.6", "gold_reason": "highest-mean(4.67)", "consensus": {"tier": "low", "margin": 0.5, "votes": 4, "best_votes": 2}, "local": "本地基座参考译文（对照用）" } ``` 字段说明： - `gold_reason`：`unanimous-best(n/4)` 全票 / `majority-best(n/4)` 过半 / `highest-mean(x.xx)` 均分兜底； - `consensus.tier`：high（全票或 ≥4 票）/ mid（3 票）/ low（其余）； - 10 篇评测论文 pmid：27321906, 29157464, 31899346, 32949785, 33224568, 33255989, 33257902, 33264519, 33264614, 33278476，覆盖肿瘤、心血管、风湿、消化、血液、呼吸、内分泌、神经、感染、肾病 10 个专科。 --- ## 配套模型 - 数据集：[InfoxmedModel/MedTranslation-Data-v3](https://modelscope.cn/datasets/InfoxmedModel/MedTranslation-Data-v3) - 模型：[InfoxmedModel/InfoMed-MT3-7B-MedZh](https://modelscope.cn/models/InfoxmedModel/InfoMed-MT3-7B-MedZh)（InfoMed-MT3-7B-MedZh，LoRA 已合并，`from_pretrained` 直接加载；本地副本见 `../merged_model/`） --- ## 许可与声明 本数据集仅供研究学习使用。文献全文来自 InfoXmed 数据库，金译为机器译文共识选优结果（非人工专业译文）。医学翻译内容不构成医疗建议。 --- *Infoxmed 团队 · 2026年8月*