LMVD

We propose a large-scale multimodal video log database (LMVD) for identifying depression in the wild. In LMVD, there were 1823 samples, capturing 214 hours of 1475 participants from four multimedia platforms (Sina Weibo, Bilibili, Tiktok, and YouTube). For all collected data, we extract video features and audio features separately. For audio features, use a pre trained VGGish41 model. For visual features, use FAU, facial markers, eye gaze, and head posture features. It is worth mentioning that our LMVD is the largest dataset for identifying visual and auditory depression in an individual's daily life, which is a positive contribution to the field of emotional computing.

本研究提出了一款用于真实场景下抑郁识别的大规模多模态视频日志数据集（LMVD）。该数据集共包含1823条样本，采集了来自新浪微博（Sina Weibo）、哔哩哔哩（Bilibili）、抖音（Tiktok）、YouTube四大多媒体平台的1475名参与者的总计214小时数据。针对所有采集到的数据，我们分别提取其视觉特征与音频特征：其中音频特征提取采用预训练的VGGish41模型；视觉特征则涵盖面部动作单元（Facial Action Unit，FAU）、面部标记点、视线追踪及头部姿态四类特征。值得一提的是，本LMVD是目前针对个体日常生活场景下视觉与听觉模态抑郁识别的规模最大的数据集，为情感计算领域作出了积极贡献。

搜集汇总

背景与挑战

背景概述

LMVD是一个大规模多模态视频日志数据库，专门用于识别日常生活中的抑郁症状。该数据集包含1823个样本，覆盖214小时视频，涉及1475名参与者，数据来源于四个主流多媒体平台，并提取了音频和视觉特征，包括预训练的VGGish41模型以及FAU、面部标记等视觉特征。它是目前最大的视觉和听觉抑郁识别日常数据集，对情感计算研究有重要贡献。