TCMD

TCMD是一个专为评估大型语言模型在中医领域表现而设计的数据集。该数据集由南京理工大学创建，包含4种类型的多项选择题，共计3451条数据，覆盖了中医国家医学执照考试的所有科目。数据集的创建过程严格遵循官方考试指南，确保了问题的全面性和准确性。TCMD数据集主要用于评估和提升大型语言模型在中医领域的应用能力，特别是在解决中医相关问题时的准确性和效率。TCMD is a dataset specifically designed to evaluate the performance of large language models (LLMs) in the field of Traditional Chinese Medicine (TCM). Developed by Nanjing University of Science and Technology, this dataset comprises 3451 multiple-choice questions across 4 categories, covering all subjects of the National Medical Licensing Examination for Traditional Chinese Medicine. The construction of the dataset strictly follows the official examination guidelines, ensuring the comprehensiveness and accuracy of the included questions. The TCMD dataset is primarily intended to evaluate and improve the application capabilities of large language models in the TCM domain, especially their accuracy and efficiency when addressing TCM-related problems.

搜集汇总

数据集介绍

构建方式

TCMD数据集的构建遵循了中国国家中医执业医师资格考试（CNMLE）的官方指导手册，精心收集了涵盖多个医学领域的多选题及其详细解释。数据来源包括参考书籍和中医爱好者，确保了问题的真实性和权威性。通过光学字符识别技术将PDF格式的材料转换为文本文件，并经过人工和程序的双重验证，确保数据的准确性和完整性。最终，数据集包含了2851个训练问题和600个测试问题，涵盖了中医基础理论、临床实践等多个领域。

特点

TCMD数据集的显著特点在于其全面性和专业性。它不仅覆盖了中医学的基础理论和临床实践，还包括了经典中医文献和综合西医知识，确保了数据集的多样性和深度。此外，数据集中的每个问题都附有详细的解释，有助于模型理解和推理。通过引入随机性测试，数据集还评估了模型的鲁棒性，揭示了当前大型语言模型在处理中医问答任务时的不足。

使用方法

TCMD数据集适用于评估和训练大型语言模型在中医领域的应用能力。研究者可以使用该数据集进行模型的微调和性能评估，特别是针对多选题的回答准确性和一致性。数据集支持多种提示方法，如上下文学习和思维链，帮助模型更好地理解和回答中医相关问题。此外，通过分析模型在随机性测试中的表现，可以进一步优化模型的鲁棒性和可靠性，推动中医与人工智能的深度融合。

背景与挑战

背景概述

近年来，随着大型语言模型（LLMs）在医学领域的应用日益广泛，构建能够全面评估这些模型在传统中医（TCM）领域能力的基准数据集变得尤为重要。TCMD数据集由南京理工大学和南京中医药大学的研究人员于2024年创建，旨在通过包含大量手动标注的传统中医考试任务问题，系统评估LLMs在中医领域的性能。该数据集的构建遵循中国国家中医执业资格考试的官方指南，涵盖了多个医学领域的问题，并提供了详细的解释，以支持对LLMs在中医领域能力的全面评估。TCMD数据集的推出，填补了当前中医领域LLMs评估数据集的空白，有望进一步推动LLMs在中医领域的发展。

当前挑战

TCMD数据集在构建过程中面临多项挑战。首先，中医领域的知识体系复杂且独特，要求数据集能够准确反映中医考试的多样性和专业性。其次，数据集的构建需要从多个来源收集问题，并进行严格的手动验证和处理，以确保数据的准确性和一致性。此外，评估LLMs在中医领域的性能时，需要考虑模型对中医经典文献和临床实践的理解能力，这对模型的推理和知识整合能力提出了高要求。最后，数据集的推出旨在评估LLMs在中医领域的鲁棒性，通过引入随机性测试模型的稳定性，揭示当前LLMs在解决中医问答任务中的不足。

常用场景

经典使用场景

TCMD数据集的经典使用场景在于评估大型语言模型（LLMs）在传统中医（TCM）领域的问答能力。通过包含大量手动标注的中医考试任务问题，TCMD支持对LLMs在中医领域的综合评估。研究者可以利用该数据集对不同类型的LLMs进行广泛评估，包括通用LLMs、常见医疗LLMs以及专门针对TCM的LLMs，从而深入分析这些模型在处理中医问答任务时的表现。

衍生相关工作

TCMD数据集的推出激发了大量相关研究工作，特别是在中医领域LLMs的开发和评估方面。例如，基于TCMD数据集，研究者们开发了专门针对中医的LLMs，如ShenNong-TCM-LLM和Huatuo-Llama-Med-Chinese，这些模型在中医问答任务中表现出色。此外，TCMD数据集还促进了中医知识与LLMs的深度融合，推动了中医智能化的发展，为中医领域的研究和应用提供了新的工具和方法。

数据集最近研究

最新研究方向

在传统中医（TCM）领域，TCMD数据集的最新研究方向主要集中在评估大型语言模型（LLMs）在中医问答任务中的表现。研究者们通过构建包含多种中医考试题型和详细解释的TCMD数据集，系统性地评估了不同LLMs在中医领域的应用能力。此外，研究还探讨了LLMs在面对选项随机排列的问答任务时的鲁棒性，揭示了当前LLMs在处理中医问答任务中的不足。这些研究不仅推动了中医与人工智能的融合，也为未来LLMs在中医领域的进一步发展提供了重要的数据支持和方法论基础。

相关研究论文

• TCMD: A Traditional Chinese Medicine QA Dataset for Evaluating Large Language Models

  南京理工大学 · 2024年