多模态痴呆监测与诊断纵向数据集

本数据集由伦敦大学玛丽皇后学院电子工程与计算机科学学院等机构创建，旨在通过自然语言处理技术监测和诊断痴呆症。数据集包含816个条目，涵盖语音对话、转录文本以及与语言相关的非语言信息如笔迹和键盘输入。数据收集自健康对照组和痴呆症患者，通过定制的平板电脑应用程序在自然环境中进行，使用回忆材料激发对话和思考。该数据集特别关注语言随时间的变化，为痴呆症的早期诊断和监测提供了新的研究方向。

This dataset was developed by institutions including the School of Electronic Engineering and Computer Science at Queen Mary University of London, as well as other affiliated organizations. Its core objective is to monitor and diagnose dementia through natural language processing (NLP) technologies. Comprising 816 entries, the dataset covers speech conversations, transcribed texts, and language-related non-verbal information such as handwriting samples and keyboard input records. The data were collected from healthy control participants and dementia patients via a customized tablet application in naturalistic real-world environments, using recall-provoking materials to elicit conversations and reflective thinking. This dataset places special emphasis on longitudinal changes in language, offering new research avenues for the early diagnosis and continuous monitoring of dementia.

搜集汇总

数据集介绍

构建方式

在痴呆症监测领域，传统诊断方法常受限于侵入性与成本问题，而语言分析作为一种非侵入性技术展现出巨大潜力。本数据集通过一项精心设计的纵向研究构建，招募了22名参与者，包括健康对照组与各类痴呆症患者。数据收集过程依托定制化平板应用，在非临床环境中进行，参与者每日需完成15分钟的会话记录或书写任务，任务材料基于怀旧主题图像以激发自然语言表达。研究分为两个阶段，每阶段持续28个会话，共计收集816个多模态会话，涵盖音频、转录文本、键盘输入与手写笔迹，并同步记录击键、笔触等副语言信息。

特点

该数据集的核心特点在于其细粒度纵向性与多模态融合。相较于现有痴呆症语料库，本数据集提供了长达56个会话的连续时间序列，能够捕捉语言特征的动态演变过程。多模态数据包括自发对话音频、部分人工转录文本、键盘与手写日志，以及与之关联的击键压力、删除模式等副语言特征，为全面分析语言产生机制提供了独特视角。数据采集基于怀旧材料在自然环境中进行，有效避免了实验室任务可能引发的学习效应与领域偏差，增强了数据的生态效度。

使用方法

该数据集适用于探索痴呆症相关的纵向语言变化与多模态分析。研究者可利用会话级表征计算相邻或非相邻会话间的余弦距离，以量化语言随时间的演变轨迹，特别适用于比较健康对照组与痴呆症患者的语言稳定性差异。音频模态可通过预训练语音嵌入进行分析，文本模态则可借助句向量表征技术。数据集支持疾病进展预测、认知评分回归及跨模态融合等任务，为开发自动化监测工具提供了基准。使用时应遵循伦理协议，数据需在保密协议下获取，并注重隐私保护与算法公平性考量。

背景与挑战

背景概述

多模态痴呆监测与诊断纵向数据集由伦敦玛丽女王大学、麻省总医院、艾伦图灵研究所等机构的研究团队于2023年构建，旨在应对痴呆症早期诊断与长期监测的迫切需求。该数据集聚焦于通过自然语言与多模态交互数据捕捉认知状态变化，核心研究问题在于利用非侵入性技术识别痴呆症相关的语言与行为模式。其创新性体现在首次整合了语音、转录文本、键盘输入与手写笔迹等多模态数据，并在自然环境中进行长达56个会话的纵向采集，为痴呆症的计算语言学与临床研究提供了前所未有的细粒度资源。

当前挑战

该数据集致力于解决痴呆症早期诊断与进展监测的领域挑战，传统方法如MRI或神经心理学测试存在成本高、敏感性不足等问题，而现有语言数据集多局限于单模态或稀疏时间点。构建过程中的挑战包括：在自然环境中确保数据采集的连续性与一致性，涉及参与者因健康衰退或外部因素（如GDPR法规与新冠疫情）导致的流失；多模态数据（如语音、笔迹、击键）的同步整合与标注需克服技术复杂性；伦理考量要求严格的数据匿名化与访问控制，以保护脆弱群体的隐私。

常用场景

经典使用场景

在神经退行性疾病研究领域，多模态痴呆监测与诊断纵向数据集为探索语言与认知功能的关联提供了关键资源。该数据集最经典的使用场景在于支持基于自然对话和书写日志的纵向分析，研究者通过整合语音、转录文本、键盘输入和手写笔迹等多模态信息，能够系统追踪痴呆患者与健康对照组在长达56个会话周期内的语言变化模式。这种细粒度的时序数据使得学者能够深入探究语言流畅性、词汇多样性及句法复杂性等指标随时间的演变，为痴呆的早期识别和进展监测奠定了实证基础。

衍生相关工作

该数据集的发布催生了一系列相关经典研究工作。在纵向语言分析方向，学者利用其会话级表征计算相邻或非相邻会话间的余弦距离，建立了痴呆群体语言变化显著高于对照组的实证基线。多模态融合方法也得到进一步发展，例如结合预训练语音嵌入与文本嵌入来捕捉跨模态的认知衰退信号。此外，数据集启发了对自我修正任务、语篇连贯性及非语言特征（如笔压与删除频率）的深入探索，这些衍生工作不仅深化了对痴呆语言表征的理解，也为开发更精准的进展预测模型开辟了新方向。

数据集最近研究

最新研究方向

在神经退行性疾病研究领域，多模态痴呆监测与诊断纵向数据集的推出，标志着语言分析技术在认知障碍早期筛查中的范式转移。该数据集通过整合语音、转录文本、键盘输入及笔迹轨迹等多维度信息，构建了覆盖56个会话的高粒度纵向观测框架，为探索痴呆症患者语言功能的动态演变提供了前所未有的资源。前沿研究聚焦于跨模态表征融合与时间序列建模，利用预训练嵌入技术量化语言连贯性、词汇多样性及副语言特征的纵向漂移，揭示痴呆群体在非相邻会话间表现出显著更高的语义距离变异。这一方向不仅推动了基于自然对话的疾病进展预测模型发展，更通过与临床认知评分的关联分析，为构建低侵入性、可扩展的家庭监测系统奠定了算法基础，有望重塑痴呆早期诊断与干预的实践路径。

相关研究论文

• A Longitudinal Multi-modal Dataset for Dementia Monitoring and Diagnosis

  伦敦大学玛丽皇后学院电子工程与计算机科学学院 · 2023年