cheese111/cxr_llm

该数据集旨在为医学多模态大语言模型提供带有上下文图像的医学对话。大多数问题确保模型理解CXR图像中存在的异常。此外，还有后续问题，教导大语言模型在识别异常后如何进行跟进。数据集包含104,892个人机对话，涉及来自CheXpert、Kaggle、VinBigData、VQARAD和SLAKE的50,021张、5,229张、44,714张、9张和4,919张图像。标签包括一个图像标记，应根据模型架构/训练进行移除或更改。

原始信息汇总

数据集概述

数据集名称

CXR for medical multimodal LLMs

数据集描述

数据集总结

• 目的： 提供带有上下文图像的医疗对话，确保模型理解CXR图像中的异常情况，并教授LLM如何跟进异常识别。
• 内容： 包含104,892次人机对话，涉及50,021张来自CheXpert的图像，5,229张来自Kaggle的肺炎胸部X光图像，44,714张来自VinBigData的图像，9张来自VQARAD的图像，以及4,919张来自Slake的图像。
• 标签： 包含图像令牌，需根据模型架构/训练需求进行移除或更改。

数据集结构

• 对话结构： 每个对话包含ID、图像路径和一系列人机交互的对话记录，记录中包含发言者（人或GPT）和发言内容。

标注过程

• 标注方式： 主要由GPT-4完成，部分标签参考医学教材手动编写。

个人和敏感信息

• 处理方式： 所有数据已根据HIPAA要求进行去标识化处理。

使用限制与考虑

• 限制： 标签可能不构成可靠的医疗建议，由医学生而非执业医生审核。存在可能导致过拟合的重复问题和答案模式。
• 使用建议： 本数据集专为Llava设计，可直接用于Llava的训练器，但需调整提示以适应Llava的训练。