Traditional-Chinese-Medicine-Dataset-Pretrain

该数据集是一个高质量的中医数据集，主要用于预训练或继续预训练用途。数据集包含了约1GB的中医各个领域的临床案例、名家典籍、医学百科、名词解释等优质内容。数据集主要由非网络来源的内部数据构成，99%为简体中文内容，内容质量优异，信息密度可观。数据集包括多个文件，每个文件包含不同来源的中医知识，如结构化信息、书本内容、临床问诊记录等，且内容均经过人工校对，质量极高。

This is a high-quality Traditional Chinese Medicine (TCM) dataset primarily intended for pre-training or continued pre-training purposes. The dataset contains approximately 1GB of high-quality content covering various TCM fields, including clinical cases, classic works by renowned practitioners, medical encyclopedias, term explanations and more. It mainly consists of internal data from non-web sources, with 99% of the content being Simplified Chinese, featuring excellent quality and considerable information density. The dataset comprises multiple files, each holding TCM knowledge from different sources such as structured information, book content, clinical consultation records and more. All content has undergone manual proofreading to ensure extremely high quality.

原始信息汇总

数据集概述

基本信息

• 许可证: Apache 2.0
• 任务类别: 文本生成
• 语言: 中文
• 标签: 医学
• 数据规模: 1GB至10GB

数据介绍

该数据集经过大量人力和资源的投入精心构建，旨在共建LLM高质量中文社区。数据集包含约1GB的中医各个领域临床案例、名家典籍、医学百科、名词解释等优质内容，涵盖全面，配比均衡。数据集主要由非网络来源的内部数据构成，并99%为简体中文内容，内容质量优异，信息密度可观。

适用范围

该数据集仅适用于预训练或继续预训练用途，针对SFT/IFT的QA数据集详见：SylvanL/Traditional-Chinese-Medicine-Dataset-SFT。

数据文件

文件名	数据细节	备注	是否有曾公开过
CPT_tcmKnowledge_source1_17921	包含来自"中国中医药信息查询平台"数据库的17,921条结构化信息，涵盖疾病、症状、医疗美容、药品、中药材、保健品、方剂、药膳食疗、针灸穴位、术语等的百科词条。内容全部经过人工校对，质量极高。	未进行minHash，且认为没有进行minHash的必要。	网络来源数据，内部处理校对。
CPT_tcmKnowledge_source2_12889	包含来自，不限于ICD-10术语和中医国标所囊括的病症与术语的12,889条相关解释，同时涵盖常见方剂、中药材、针灸配穴等各种中医术语和名词的详细解释。内容完全由人工编辑，质量极高。	未进行minHash，且认为没有进行minHash的必要。	内部数据，未曾面世。
CPT_tcmBooks_source1_146244	包含来自688本中医领域常用教材、著作、典籍的146244条书本内容。从pdf、word、图片、html以及chm等原始文件格式整理出。具体书录详见【附录一】	未进行minHash，且认为没有进行minHash的必要。	网络来源数据，内部处理校对。
CPT_medicalRecord_source1_61486	包含61,486条来自高水平执业中医医生的临床问诊记录，内容为自然语言优质医案，包含患者问诊引导、病症、主诉、诊断、方剂、中药等处方笺必备内容。内容完全由人工编辑，质量极高。	未进行minHash，且认为没有进行minHash的必要。医案已全部进行人工脱敏。	内部数据，未曾面世。
CPT_medicalRecord_source2_15307	包含15,127条来自某知名教授的临床问诊记录，内容为自然语言优质医案，包含患者问诊引导、病症、主诉、诊断、方剂、中药等处方笺必备内容。内容完全由人工编辑，质量极高。	未进行minHash，且认为没有进行minHash的必要。医案已由"Qwen/Qwen2.5-14B-Instruct"模型脱敏，提示词工程详见【附录二】，并由人工二次校对。	内部数据，未曾面世。
CPT_medicalRecord_source3_230000	包含230,000条从某中医院EMR系统中获得的部分归档医案，内容源头由医生线下问诊时由本人/学生点选或键入。内容由规则联表拼接，质量中规中矩。	内部数据，未尝面世。数据未进行minHash，可以酌情进行minHash。医案根据规则构建时没有涉及任何患者隐私相关的字段。	内部数据，未曾面世。
CPT_medicalRecord_source4_48665	包含48,665条来自某知名教授的临床问诊记录，内容为自然语言优质医案，包含患者问诊引导、病症、主诉、诊断、证型、方剂、中药等处方笺必备内容。内容完全由人工编辑，质量极高。	未进行minHash，且认为没有进行minHash的必要。医案已全部进行人工脱敏。	内部数据，未曾面世。

附录一：完整中医典籍清单

书名	标签	条目数
中医临床诊疗术语	中医	4566
方剂学	教材 中医	3029
中医名词词典	使用手册 中医	2695
冯氏锦囊秘录	著作 中医 文言文	2357
医宗金鉴	著作 中医 文言文	2262
备急千金要方	著作 中医 文言文	1800
诸病源候论	著作 中医 文言文	1737
证类本草	著作 中医 文言文	1694
古今医统大全	著作 中医 文言文	1643
默克家庭诊疗手册	教材 西医	1549
奇效简便良方	著作 中医 文言文	1522
夏桂成实用中医妇科学	著作 中医	1490
圣济总录	著作 中医 文言文	1393
疡医大全	著作 中医 文言文	1308
中药学	教材 中医	1255
华佗神方	著作 中医 文言文	1214
本草分经	著作 中医 文言文	1152
三因极一病证方论	著作 中医 文言文	1145
千金翼方	著作 中医 文言文	1140
中医内科学	中医	1139
外台秘要	著作 中医 文言文	1092
医学入门	著作 中医 文言文	1063
妇人大全良方	著作 中医 文言文	1025
茶饮保健	使用手册 中医	1011
是斋百一选方	著作 中医 文言文	968
中医词典	使用手册 中医 文言文	963
仁术便览	著作 中医 文言文	908
新修本草	著作 中医 文言文	886
奇方类编	著作 中医 文言文	837
医方考	著作 中医 文言文	836
太平惠民和剂局方	著作 中医 文言文	819
中医食疗学	教材 中医	805
中医基础理论	指南 中医	782
预防医学	教材 西医	733
儒门事亲	著作 中医 文言文	726
女科经纶	著作 中医 文言文	720
名医别录	著作 中医 文言文	718
本草易读	著作 中医 文言文	712
针灸治疗学.epub	教材 中医	703
针灸大成	著作 中医 文言文	695
医学纲目	著作 中医 文言文	689
药性切用	著作 中医 文言文	688
医述	著作 中医 医案 文言文	683
本经逢原	著作 中医 文言文	683
金匮悬解	著作 中医 文言文	652
圆运动的古中医学	著作 中医	650
本草从新	著作 中医 文言文	648
本草纲目	著作 中医 文言文	640
实用免疫细胞与核酸	教材 西医	622
家庭医学百科-医疗康复篇	使用手册 西医 家庭	612
伤寒悬解	著作 中医 文言文	612
得配本草	著作 中医 文言文	611
本草撮要	著作 中医 文言文	603
人体解剖学	教材 西医	587
医学心悟	著作 中医 文言文	568
幼幼新书	著作 中医 文言文	548
药理学	教材 西医	543
生理学	教材 西医	542
景岳全书	著作 中医 文言文	537
证治准绳·幼科	著作 中医 文言文	537
医学衷中参西录	著作 中医 医案	535
本草求真	著作 中医 文言文	533
饮膳正要	著作 中医 文言文	512
中医药膳学	著作 中医	511
中医诊断学	教材 中医	507
普济方·针灸	著作 中医 文言文	502
保健药膳	使用手册 中医	500
滇南本草	著作 中医 文言文	497
急救广生集	著作 中医 文言文	484
传染病	教材 西医	478
伤寒杂病论	著作 中医 文言文	474
针灸学	教材 中医	472
张氏医通	著作 中医 文言文	468
竹林女科证治	著作 中医 文言文	467
本草经集注	著作 中医 文言文	464
医学摘粹	著作 中医 文言文	463
生物化学与分子生物学	教材 西医	461
外科全生集	著作 中医 医案 文言文	459
本草便读	著作 中医 文言文	458
本草备要	著作 中医 文言文	450
中医疾病预测	使用手册 中医	448
明医指掌	著作 中医 文言文	437
增广和剂局方药性总论	著作 中医 文言文	436
本草蒙筌	著作 中医 文言文	436
中国医学通史	教材 中医	435
本草衍义	著作 中医 文言文	428
针灸神书	著作 中医 文言文	425
外科理例	著作 中医 文言文	420
目经大成	著作 中医 文言文	413
医院药学	教材 西医	409
回生集	著作 中医 文言文	407
温病学	教材 中医	401
急诊医学	教材 西医	399
孙文垣医案	著作 中医 医案 文言文	398
病理学	教材 西医	396
本草乘雅半偈	著作 中医 文言文	394
类证治裁	著作 中医 医案 文言文	392
神经精神疾病诊断学	教材 西医	385
中国幽门螺杆菌研究	教材 西医	384
外科心法要诀	著作 中医 文言文	383
类经	著作 中医 文言文	374
顾松园医镜	著作 中医 文言文	366
本草择要纲目	著作 中医 文言文	366
神农本草经	著作 中医 文言文	363
医方论	著作 中医 文言文	358
博济方	著作 中医 文言文	357
本草害利	著作 中医 文言文	356
中药炮制	使用手册 中医	353
明目至宝	著作 中医 文言文	352
寿世保元	著作 中医 文言文	352
症因脉治	著作 中医 文言文	350
实验动物科学	教材 西医	346
中医养生学.epub	教材 中医	344
本草图经	著作 中医 文言文	338
临床营养学	教材 西医	336
中成药临床应用指南	肛肠疾病 指南 中医	335
医学心理学	教材 西医	334
外科启玄	著作 中医 文言文	333
饮食须知	著作 中医 文言文	332
中成药临床应用指南	眼科疾病 指南 中医	329
临床生物化学	教材 西医	327
医学微生物学	教材 西医	319
雷公炮制药性解	著作 中医 文言文	319
药笼小品	著作 中医 文言文	316
病理生理学	教材 西医	311
医学集成	著作 中医 文言文	310
济阴纲目	著作 中医 文言文	307
女科证治准绳	著作 中医 文言文	298
医学免疫学	教材 西医	298
常见中老年疾病防治	使用手册 中医 中老年人	297
伤寒括要	著作 中医 文言文	293
玉楸药解	著作 中医 文言文	291
细胞和分子免疫学	教材 西医	291
续名医类案	著作 中医 医案 文言文	29

搜集汇总

数据集介绍

构建方式

该数据集的构建过程体现了对中医领域知识的深度挖掘与整理。数据集主要来源于非网络渠道，包括中医临床案例、名家典籍、医学百科等，涵盖了中医领域的多个方面。数据经过人工校对与编辑，确保了内容的高质量与准确性。数据集中的内容主要来自中国中医药信息查询平台、ICD-10术语、中医国标等权威来源，并通过人工脱敏处理，确保数据的隐私安全性。

特点

该数据集的特点在于其内容的全面性与高质量。数据集涵盖了中医领域的临床案例、典籍、名词解释等多个方面，内容配比均衡，信息密度高。数据集中的99%为简体中文内容，且经过人工校对与编辑，确保了数据的准确性与权威性。此外，数据集中的医案部分经过脱敏处理，确保了患者隐私的安全性。

使用方法

该数据集适用于预训练或继续预训练用途，尤其适合用于中医领域的自然语言处理任务。用户可以通过LLamaFactory工具直接读取数据集，并按照`dataset_info.json`中的信息进行数据处理。数据集中的内容可以用于训练中医领域的文本生成模型，或用于中医知识的问答系统开发。需要注意的是，该数据集不适用于SFT/IFT的QA任务，相关任务需使用专门的数据集。

背景与挑战

背景概述

Traditional-Chinese-Medicine-Dataset-Pretrain数据集是一个专注于中医药领域的高质量文本数据集，旨在为大规模语言模型的预训练提供支持。该数据集由多个非网络来源的内部数据构成，涵盖了中医临床案例、名家典籍、医学百科、名词解释等多个领域，内容全面且配比均衡。数据集的主要贡献者包括来自中国中医药信息查询平台、ICD-10术语、中医国标等权威来源的数据，确保了数据的高质量和权威性。该数据集的构建不仅为中医药领域的研究提供了丰富的语料资源，还推动了中医药知识在自然语言处理领域的应用与发展。

当前挑战

该数据集在构建过程中面临了多方面的挑战。首先，中医药领域的文本通常包含大量的专业术语和古文表达，如何准确理解和处理这些复杂的语言结构是一个重要的技术难题。其次，数据集的构建依赖于大量的人工校对和编辑，以确保数据的准确性和一致性，这需要耗费大量的人力和时间成本。此外，中医药数据的隐私性和敏感性较高，如何在数据脱敏和隐私保护之间找到平衡，也是数据集构建过程中需要解决的难题。最后，如何将中医药知识与现代自然语言处理技术有效结合，进一步提升模型的泛化能力和应用效果，仍然是该领域面临的核心挑战。

常用场景

经典使用场景

Traditional-Chinese-Medicine-Dataset-Pretrain数据集在中医领域的经典使用场景主要集中在大规模语言模型的预训练任务中。该数据集包含了丰富的中医临床案例、名家典籍、医学百科等内容，能够为模型提供高质量的中文语料，帮助模型更好地理解和生成与中医相关的文本。通过预训练，模型能够学习到中医术语、方剂、诊断方法等专业知识，从而在后续的微调任务中表现出色。

实际应用

在实际应用中，Traditional-Chinese-Medicine-Dataset-Pretrain数据集被广泛用于开发中医智能辅助系统。例如，基于该数据集训练的模型可以用于中医临床诊断辅助，帮助医生快速检索相关医案和方剂；也可以用于中医教育，为学生提供丰富的学习材料和案例分析。此外，该数据集还可以用于开发中医知识问答系统，帮助普通用户获取准确的中医健康建议。

衍生相关工作

基于Traditional-Chinese-Medicine-Dataset-Pretrain数据集，衍生了许多经典的研究工作。例如，研究人员利用该数据集开发了中医文本生成模型，能够自动生成符合中医理论的诊断报告和方剂推荐。此外，该数据集还被用于中医知识图谱的构建，帮助梳理和整合中医领域的复杂知识体系。这些工作不仅推动了中医领域的人工智能研究，也为中医的现代化和国际化提供了重要支持。