CMLM/ZhongJing-OMNI

---
license: mit
task_categories:
- question-answering
- text-generation
tags:
- medical
---

# ZhongJing-OMNI: The First Multimodal Benchmark for Evaluating Traditional Chinese Medicine

**ZhongJing-OMNI** is the first multimodal benchmark dataset designed to evaluate Traditional Chinese Medicine (TCM) knowledge in large language models. This dataset provides a diverse array of questions and multimodal data, combining visual and textual information to assess the model’s ability to reason through complex TCM diagnostic and therapeutic scenarios. The unique combination of TCM textual knowledge with multimodal tongue diagnosis data sets a new standard for AI research in TCM.

### Key Multimodal Features:
- **Multiple-choice questions**: Encompassing core TCM concepts, syndromes, diagnostics, and herbal formulas.
- **Open-ended questions**: Focused on detailed diagnostic reasoning, treatment strategies, and explanation of TCM principles.
- **Case-based questions**: Real-world clinical cases that require in-depth analysis and comprehensive treatment approaches.
- **Multimodal tongue diagnosis Q&A**: High-resolution tongue images paired with corresponding diagnostic questions and expert answers, combining both visual and textual data to evaluate the model’s understanding of TCM tongue diagnosis.

This multimodal dataset allows AI systems to develop a deeper, more holistic understanding of TCM by integrating textual reasoning with visual diagnostic skills, making it a powerful resource for healthcare AI research.

## Dataset Structure

- `MCQ/`: Multiple-choice questions with answer keys.
- `OpenQA/`: Open-ended questions with detailed expert-verified answers.
- `CaseQA/`: Clinical case-based questions and answers.
- `TongueDiagnosis/`: High-quality tongue diagnosis images with paired Q&A for multimodal analysis.

## How to Use

### 1. Clone the repository:
```bash
git clone https://github.com/yourusername/ZhongJing-OMNI.git
#2. Load the dataset:
```
```python
import pandas as pd

# Load multiple-choice data
mcq_data = pd.read_csv('MCQ/questions.csv')

# Load open-ended Q&A
openqa_data = pd.read_csv('OpenQA/questions.csv')

# Load case-based Q&A
caseqa_data = pd.read_csv('CaseQA/questions.csv')

# Load tongue diagnosis Q&A (multimodal data)
tongue_data = pd.read_csv('TongueDiagnosis/tongue_questions.csv')
```
3. Multimodal Tongue Diagnosis Example:

```python
from PIL import Image

# Load and display an example tongue image for multimodal evaluation
img = Image.open('TongueDiagnosis/images/tongue001.png')
img.show()

# Load the corresponding Q&A
with open('TongueDiagnosis/questions/tongue001_question.txt', 'r') as file:
question = file.read()
print(f"Question: {question}")

with open('TongueDiagnosis/answers/tongue001_answer.txt', 'r') as file:
answer = file.read()
print(f"Answer: {answer}")
```

## Why Multimodal?
The ZhongJing-OMNI dataset introduces the first multimodal component for TCM, combining visual and textual data, which is crucial for understanding complex diagnostic features such as tongue color, shape, and coating. This allows models to:

- **Learn how to integrate visual diagnostic features with textual knowledge.
- **Perform joint reasoning over both modalities to reach accurate TCM diagnoses.
- **Support real-world clinical applications where visual and textual data are intertwined.

# Tongue Diagnosis Example: Qi Deficiency with Pale Tongue


This image shows a pale, slightly swollen tongue with a thin white coating. These features are typical signs of Qi deficiency in Traditional Chinese Medicine.

This example represents an actual test result from our dataset using the Claude-3.5-Sonnet model. It demonstrates the model's capability to accurately identify and describe key features of tongue images used in Traditional Chinese Medicine diagnosis.

## Contact
For questions or collaboration, please contact at Email: [e-mail]

Citation
If you use ZhongJing-OMNI in your research or project, please cite it as follows:

```
@dataset{zhongjing_omni_2024,
title = {ZhongJing-OMNI: The First Multimodal Benchmark for Evaluating Traditional Chinese Medicine},
author = {Kang, Yanlan},
year = {2024},
publisher = {GitHub},
journal = {GitHub repository},
url = {https://github.com/yourusername/ZhongJing-OMNI}
}
```

许可证：MIT协议
任务类别：
- 问答
- 文本生成
标签：
- 医疗

# ZhongJing-OMNI：首个用于评估中医药的多模态基准数据集

**ZhongJing-OMNI** 是首个用于评估大语言模型（Large Language Model, LLM）中医药（Traditional Chinese Medicine, TCM）知识的多模态基准数据集。该数据集涵盖多样化的问题与多模态数据，融合视觉与文本信息，用于评估模型在复杂中医药诊疗场景下的推理能力。中医药文本知识与多模态舌诊数据的独特结合，为中医药领域的人工智能研究树立了全新标准。

### 关键多模态特性：
- **选择题**：涵盖中医药核心概念、证型、诊断方法与方剂。
- **开放式问题**：聚焦于详细的诊断推理、治疗策略与中医药理论阐释。
- **基于病例的问题**：包含真实临床病例，需进行深度分析与综合诊疗方案制定。
- **多模态舌诊问答**：将高分辨率舌部图像与对应的诊断问题及专家解答相结合，融合视觉与文本数据，用于评估模型对中医药舌诊的理解能力。

该多模态数据集通过将文本推理与视觉诊断技能相结合，使人工智能系统能够更深入、全面地理解中医药知识，因此成为医疗人工智能研究的优质资源。

## 数据集结构

- `MCQ/`：包含参考答案的选择题数据集。
- `OpenQA/`：包含经专家详细校验的解答的开放式问答数据集。
- `CaseQA/`：基于临床病例的问答数据集。
- `TongueDiagnosis/`：用于多模态分析的高质量舌诊图像及配套问答数据集。

## 使用方法

### 1. 克隆仓库：
bash
git clone https://github.com/yourusername/ZhongJing-OMNI.git
# 2. 加载数据集：

python
import pandas as pd

# 加载选择题数据
mcq_data = pd.read_csv('MCQ/questions.csv')

# 加载开放式问答数据
openqa_data = pd.read_csv('OpenQA/questions.csv')

# 加载基于病例的问答数据
caseqa_data = pd.read_csv('CaseQA/questions.csv')

# 加载舌诊问答（多模态数据）
tongue_data = pd.read_csv('TongueDiagnosis/tongue_questions.csv')

3. 多模态舌诊示例：

python
from PIL import Image

# 加载并展示用于多模态评估的示例舌部图像
img = Image.open('TongueDiagnosis/images/tongue001.png')
img.show()

# 加载对应的问答数据
with open('TongueDiagnosis/questions/tongue001_question.txt', 'r') as file:
question = file.read()
print(f"Question: {question}")

with open('TongueDiagnosis/answers/tongue001_answer.txt', 'r') as file:
answer = file.read()
print(f"Answer: {answer}")

## 为何采用多模态？

ZhongJing-OMNI数据集引入了首个中医药领域的多模态模块，融合视觉与文本数据，这对于理解舌色、舌形、舌苔等复杂诊断特征至关重要。该数据集可帮助模型实现以下能力：

- **掌握如何将视觉诊断特征与文本知识相结合**
- **针对两种模态进行联合推理，以得出准确的中医药诊断结果**
- **支持视觉与文本数据交织的真实临床应用场景**

## 舌诊示例：气虚证淡舌


该图像展示了淡舌、轻度肿胀伴薄白苔的舌象，这些特征是中医药领域气虚证的典型表现。

本示例为使用Claude-3.5-Sonnet模型在本数据集上的实际测试结果，展示了模型准确识别并描述中医药舌诊关键特征的能力。

## 联系方式

如有疑问或合作意向，请联系邮箱：[e-mail]

## 引用说明

若您在研究或项目中使用ZhongJing-OMNI数据集，请按以下格式引用：

@dataset{zhongjing_omni_2024,
title = {ZhongJing-OMNI: The First Multimodal Benchmark for Evaluating Traditional Chinese Medicine},
author = {Kang, Yanlan},
year = {2024},
publisher = {GitHub},
journal = {GitHub repository},
url = {https://github.com/yourusername/ZhongJing-OMNI}
}

搜集汇总

数据集介绍

构建方式

在中医药学与现代人工智能交叉领域，ZhongJing-OMNI数据集的构建体现了严谨的学科融合思路。该数据集通过整合中医药经典文献、临床案例及舌诊图像等多源信息，构建了涵盖选择题、开放式问答、病例分析及舌诊多模态问答的复合结构。其核心构建方法在于将高分辨率舌象图像与对应的诊断问题及专家解答进行精准配对，形成视觉与文本交织的数据单元，确保了数据在中医诊断场景中的代表性与真实性。

特点

作为首个面向中医药的多模态基准数据集，ZhongJing-OMNI的突出特点在于其多维度的评估体系。它不仅覆盖中医核心概念、证候诊断与方剂知识，更创新性地引入了舌诊视觉数据，实现了文本推理与图像识别的有机结合。数据集通过真实临床案例与专家验证的答案，提供了对中医辨证论治过程的深度模拟，为人工智能系统理解中医整体观与诊断逻辑提供了结构化、可量化的测试环境。

使用方法

使用该数据集时，研究者可通过克隆代码仓库并加载结构化数据文件，便捷地访问各类问答数据与舌诊图像。对于多模态分析，需结合图像处理库与文本数据加载方法，同步读取舌象图片及其对应的诊断问题与答案，以模拟临床舌诊的完整流程。该设计支持模型进行跨模态联合推理，便于评估其在中医药知识理解与视觉诊断特征整合方面的综合能力。

背景与挑战

背景概述

在人工智能与医疗健康交叉领域，传统中医知识的数字化与智能化评估长期面临标准化基准缺失的挑战。2024年，复旦大学研究人员康艳兰主导发布了ZhongJing-OMNI数据集，这是首个专为评估大型语言模型在传统中医领域知识理解而设计的多模态基准。该数据集聚焦于中医诊断与治疗中的复杂推理场景，通过整合舌诊图像与结构化文本数据，旨在推动人工智能对中医辨证论治体系的系统性学习与应用，为医疗人工智能研究提供了关键的基础设施。

当前挑战

该数据集致力于解决传统中医智能化诊断中的多模态融合挑战，要求模型同时处理视觉舌象特征与抽象医学文本，实现跨模态的联合推理。在构建过程中，挑战主要集中于高质量舌诊图像的标准化采集与标注、中医专业知识的权威性验证，以及临床案例与多模态问答对的结构化设计，这些环节均需深度融合领域专家经验与数据科学方法，确保评估体系的严谨性与实用性。

常用场景

经典使用场景

在中医药智能化研究领域，ZhongJing-OMNI数据集作为首个融合视觉与文本的多模态基准，其经典应用场景集中于评估大型语言模型对中医知识的理解与推理能力。通过整合舌诊图像与临床问答数据，该数据集能够系统检验模型在辨证论治、方剂配伍等核心环节的跨模态分析水平，为构建具备中医诊断思维的人工智能系统提供标准化测试平台。

解决学术问题

该数据集有效解决了中医药人工智能研究中长期存在的单一模态局限性问题。通过引入舌象视觉特征与辨证文本的关联映射，它使研究者能够深入探索多模态融合机制在复杂中医诊断场景中的应用潜力，为建立符合中医整体观认知范式的计算模型奠定数据基础，推动了传统医学与现代人工智能技术的交叉融合。

衍生相关工作

基于该数据集衍生的经典研究主要集中在多模态中医知识表示学习领域。学者们通过构建视觉-文本联合嵌入模型，实现了舌象特征与证候术语的语义对齐；后续工作进一步拓展至动态辨证推理框架的构建，开发出能够模拟中医临证思维链的序列生成模型，这些成果持续推动着中医人工智能从感知智能向认知智能的范式演进。