PulseLM
收藏资源简介：
PulseLM是一个多模态框架，集成了PPG（光电容积图）信号编码器与大型语言模型，用于生理信号理解研究。该项目包括一个大规模标准化的PPG数据集和一个模型架构，该架构通过LoRA微调将预训练的PPG编码器与LLM主干（LLaMA、Qwen变体）相结合。每个样本包含：一个10秒、125Hz、经过清理、处理和归一化的PPG信号；一个数据的文本描述（元数据、标签、地面信息、记录条件、传感器细节、活动等）；以及跨越12个临床相关类别/任务的问答对。该数据集支持PPG信号基础模型、多模态PPG语言对齐、零样本生理信号分类和可解释的健康监测AI等研究和应用。
PulseLM is a multimodal framework that integrates a photoplethysmography (PPG) signal encoder and a large language model (LLM), tailored for research on physiological signal understanding. This project encompasses a large-scale standardized PPG dataset and a model architecture that combines a pre-trained PPG encoder with LLM backbones (LLaMA, Qwen variants) via LoRA fine-tuning. Each sample includes: a 10-second, 125Hz PPG signal that has been cleaned, processed, and normalized; a textual description of the data (covering metadata, labels, ground truth, recording conditions, sensor specifications, activities, and other relevant details); and question-answer pairs spanning 12 clinically relevant categories or tasks. This dataset supports a wide range of research and applications, including PPG signal foundation models, multimodal PPG-language alignment, zero-shot physiological signal classification, and interpretable AI for health monitoring.
PulseLM 数据集概述
数据集基本信息
- 数据集名称: PulseLM: A Foundation Dataset and Benchmark for PPG-Text Learning
- 核心内容: 一个用于PPG（光电容积描记法）信号与文本学习的大规模标准化多模态数据集及基准。
- 主要构成: 每个样本包含一段PPG信号、一段文本描述以及涵盖12个临床相关类别/任务的问答对。
数据样本详情
信号规格
- 信号类型: PPG（光电容积描记法）信号
- 信号时长: 10秒
- 采样频率: 125 Hz
- 处理状态: 经过清洗、处理和标准化
文本描述内容
文本描述总结并包含了以下信息：
- 临床元数据（如年龄、性别、BMI）
- 生理测量值（如心率、血压）
- 记录上下文（如活动状态、情绪状态）
- 信号特征
- 传感器细节（如记录位置：手腕、耳内）
- 医疗历史
问答对任务类别
数据集包含12个临床相关的问答任务类别，示例如下：
- 心率分类: 区分正常、心动过缓、心动过速。
- 血压分类: 区分正常、升高、高血压1期、高血压2期、高血压危象。
- 信号质量评估: 区分良好质量、噪声或失真、对称性异常。
- 情绪/压力状态: 区分基线、压力、愉悦、冥想。
- 睡眠呼吸障碍分类: 基于AHI区分正常、轻度、中度、重度。
- 心率变异性（SDNN）分类: 区分低、正常、高。
- 心率变异性（RMSSD）分类: 区分低、正常、高。
- 心率变异性（pNN50）分类: 区分低、正常、高。
- 心房颤动检测: 区分房颤、非房颤。
- 心律失常分类: 区分窦性心律、室性早搏、房性早搏、室性心动过速、室上性心动过速、房颤。
- 血氧饱和度（SpO2）分类: 区分正常、轻度低氧血症、中度低氧血症、重度低氧血症。
- 呼吸频率分类: 区分呼吸过缓、正常、呼吸过速。
数据集用途与研究领域
- PPG信号基础模型研究
- 多模态PPG-语言对齐研究
- 生理信号零样本分类
- 健康监测的可解释人工智能
数据格式与加载
- 数据存储格式:
.mat文件 - 文件内容:
signal: 存储PPG信号数据qa: 存储JSON格式的问答对数据
- 加载示例: 可使用
scipy.io.loadmat加载，并将qa字段解析为JSON。
引用信息
如需使用本数据集，请引用以下论文：
@misc{pham2026pulselmfoundationdatasetbenchmark, title={PulseLM: A Foundation Dataset and Benchmark for PPG-Text Learning}, author={Hung Manh Pham and Jinyang Wu and Xiao Ma and Yiming Zhang and Yixin Xu and Aaqib Saeed and Bin Zhu and Zhou Pan and Dong Ma}, year={2026}, eprint={2603.03331}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2603.03331}, }
相关资源链接
- 论文地址: https://arxiv.org/abs/2603.03331
- 模型检查点: https://huggingface.co/Manhph2211/PulseLM
