LMVD

We propose a large-scale multimodal video log database (LMVD) for identifying depression in the wild. In LMVD, there were 1823 samples, capturing 214 hours of 1475 participants from four multimedia platforms (Sina Weibo, Bilibili, Tiktok, and YouTube). For all collected data, we extract video features and audio features separately. For audio features, use a pre trained VGGish41 model. For visual features, use FAU, facial markers, eye gaze, and head posture features. It is worth mentioning that our LMVD is the largest dataset for identifying visual and auditory depression in an individual's daily life, which is a positive contribution to the field of emotional computing.

本研究提出了一款用于真实野外场景抑郁识别的大规模多模态视频日志数据集（LMVD）。该数据集共包含1823个样本，涵盖来自新浪微博、哔哩哔哩、抖音（Tiktok）、YouTube四大多媒体平台的1475名参与者的总计214小时音视频数据。针对所有采集到的数据，我们分别提取视频特征与音频特征：音频特征提取采用预训练（pre-trained）VGGish41模型；视频特征则涵盖面部动作单元（FAU）、面部标记点、眼部注视特征以及头部姿态特征。值得一提的是，本LMVD是目前规模最大的面向个体日常生活场景、基于视觉与听觉模态的抑郁识别数据集，可为情感计算领域作出积极贡献。

搜集汇总

背景与挑战

背景概述

LMVD是一个大规模多模态视频日志数据库，专门用于在自然环境中识别抑郁。它包含1823个样本，总时长214小时，覆盖1475名参与者，数据来自Sina Weibo、Bilibili、Tiktok和YouTube四个平台，并提取了音频和视觉特征。该数据集是目前最大的用于识别日常生活中视觉和听觉抑郁的数据集，对情感计算领域具有重要贡献。