TCMD|中医数据集|人工智能评估数据集

TCMD是一个专为评估大型语言模型在中医领域表现而设计的数据集。该数据集由南京理工大学创建，包含4种类型的多项选择题，共计3451条数据，覆盖了中医国家医学执照考试的所有科目。数据集的创建过程严格遵循官方考试指南，确保了问题的全面性和准确性。TCMD数据集主要用于评估和提升大型语言模型在中医领域的应用能力，特别是在解决中医相关问题时的准确性和效率。

AI搜集汇总

数据集介绍

构建方式

TCMD数据集的构建遵循了中国国家中医执业医师资格考试（CNMLE）的官方指导手册，精心收集了涵盖多个医学领域的多选题及其详细解释。数据来源包括参考书籍和中医爱好者，确保了问题的真实性和权威性。通过光学字符识别技术将PDF格式的材料转换为文本文件，并经过人工和程序的双重验证，确保数据的准确性和完整性。最终，数据集包含了2851个训练问题和600个测试问题，涵盖了中医基础理论、临床实践等多个领域。

特点

TCMD数据集的显著特点在于其全面性和专业性。它不仅覆盖了中医学的基础理论和临床实践，还包括了经典中医文献和综合西医知识，确保了数据集的多样性和深度。此外，数据集中的每个问题都附有详细的解释，有助于模型理解和推理。通过引入随机性测试，数据集还评估了模型的鲁棒性，揭示了当前大型语言模型在处理中医问答任务时的不足。

使用方法

TCMD数据集适用于评估和训练大型语言模型在中医领域的应用能力。研究者可以使用该数据集进行模型的微调和性能评估，特别是针对多选题的回答准确性和一致性。数据集支持多种提示方法，如上下文学习和思维链，帮助模型更好地理解和回答中医相关问题。此外，通过分析模型在随机性测试中的表现，可以进一步优化模型的鲁棒性和可靠性，推动中医与人工智能的深度融合。

背景与挑战

背景概述

近年来，随着大型语言模型（LLMs）在医学领域的应用日益广泛，构建能够全面评估这些模型在传统中医（TCM）领域能力的基准数据集变得尤为重要。TCMD数据集由南京理工大学和南京中医药大学的研究人员于2024年创建，旨在通过包含大量手动标注的传统中医考试任务问题，系统评估LLMs在中医领域的性能。该数据集的构建遵循中国国家中医执业资格考试的官方指南，涵盖了多个医学领域的问题，并提供了详细的解释，以支持对LLMs在中医领域能力的全面评估。TCMD数据集的推出，填补了当前中医领域LLMs评估数据集的空白，有望进一步推动LLMs在中医领域的发展。

当前挑战

TCMD数据集在构建过程中面临多项挑战。首先，中医领域的知识体系复杂且独特，要求数据集能够准确反映中医考试的多样性和专业性。其次，数据集的构建需要从多个来源收集问题，并进行严格的手动验证和处理，以确保数据的准确性和一致性。此外，评估LLMs在中医领域的性能时，需要考虑模型对中医经典文献和临床实践的理解能力，这对模型的推理和知识整合能力提出了高要求。最后，数据集的推出旨在评估LLMs在中医领域的鲁棒性，通过引入随机性测试模型的稳定性，揭示当前LLMs在解决中医问答任务中的不足。

常用场景

经典使用场景

TCMD数据集的经典使用场景在于评估大型语言模型（LLMs）在传统中医（TCM）领域的问答能力。通过包含大量手动标注的中医考试任务问题，TCMD支持对LLMs在中医领域的综合评估。研究者可以利用该数据集对不同类型的LLMs进行广泛评估，包括通用LLMs、常见医疗LLMs以及专门针对TCM的LLMs，从而深入分析这些模型在处理中医问答任务时的表现。

衍生相关工作

TCMD数据集的推出激发了大量相关研究工作，特别是在中医领域LLMs的开发和评估方面。例如，基于TCMD数据集，研究者们开发了专门针对中医的LLMs，如ShenNong-TCM-LLM和Huatuo-Llama-Med-Chinese，这些模型在中医问答任务中表现出色。此外，TCMD数据集还促进了中医知识与LLMs的深度融合，推动了中医智能化的发展，为中医领域的研究和应用提供了新的工具和方法。

数据集最近研究

最新研究方向

在传统中医（TCM）领域，TCMD数据集的最新研究方向主要集中在评估大型语言模型（LLMs）在中医问答任务中的表现。研究者们通过构建包含多种中医考试题型和详细解释的TCMD数据集，系统性地评估了不同LLMs在中医领域的应用能力。此外，研究还探讨了LLMs在面对选项随机排列的问答任务时的鲁棒性，揭示了当前LLMs在处理中医问答任务中的不足。这些研究不仅推动了中医与人工智能的融合，也为未来LLMs在中医领域的进一步发展提供了重要的数据支持和方法论基础。

相关研究论文

• TCMD: A Traditional Chinese Medicine QA Dataset for Evaluating Large Language Models

  南京理工大学 · 2024年