Libra-Emo

Libra-Emo是一个全面的视频情感识别数据集，包含来自电视剧的剪辑片段，以及相应的字幕和情感标签。数据集涵盖了13种情感类别，包括兴奋、快乐、惊讶、惊奇、中性、讽刺、厌恶、挫败、愤怒、僧恨、恐惧、悲伤和绝望。每个样本包括一个视频片段、相应的字幕、一个情感标签和该标签的分配解释。Libra-Emo is a comprehensive video emotion recognition dataset, which contains clipped segments from TV dramas along with their corresponding subtitles and emotion labels. The dataset covers 13 emotion categories, including excitement, happiness, surprise, amazement, neutral, sarcasm, disgust, frustration, anger, hatred, fear, sadness, and despair. Each sample includes a video segment, its corresponding subtitle, an emotion label, and an explanation for the assignment of that label.

原始信息汇总

Libra-Emo 数据集概述

基本信息

• 名称: Libra-Emo
• 语言: 英文 (en)
• 许可协议: CC-BY-4.0
• 多语言性: 单语言 (monolingual)
• 数据规模: 10K<n<100K
• 创建方式: 众包 (crowdsourced) 和机器生成 (machine-generated)
• 来源: 原始数据 (original)
• 标签: 视频 (video), 情绪 (emotion)

数据集内容

• 任务类别: 视频分类 (video-classification)
• 特征:
  • video: 字符串 (string)
  • subtitle: 字符串 (string)
  • label: 字符串 (string)
  • explanation: 字符串 (string)
• 数据分割:
  • train: 35,899 个样本
  • test: 635 个样本

数据集描述

• 内容: 包含来自电视节目的视频片段，配有字幕和情绪标签。
• 情绪类别: 13 种
  • excited
  • happy
  • amazed
  • surprised
  • neutral
  • ironic
  • disgusted
  • frustrated
  • angry
  • hateful
  • fearful
  • sad
  • despairful
• 每个样本包含:
  • 视频片段
  • 对应字幕
  • 情绪标签
  • 标签分配的解释

下载与提取

• 下载方法: 使用 Git LFS bash git lfs install git clone https://huggingface.co/datasets/caskcsg/Libra-Emo

• 提取方法: 使用 extract_tar_files.py 脚本 bash python extract_tar_files.py --dir /path/to/tar/files [--target /path/to/extract] [--keep-tar]

评估

预测

• 脚本: predict.py bash python predict.py --model_path /path/to/model --data_path /path/to/test.json --video_root /path/to/videos --output_root /path/to/output --max_tokens 10

• 多GPU支持: 通过 --machine_num 和 --machine_rank 参数实现。

评估

• 脚本: evaluate.py bash python evaluate.py --predict_root /path/to/predictions

• 评估指标:

  • 总体准确率
  • 总体宏 F1 分数
  • 总体加权 F1 分数
  • 负面情绪准确率
  • 负面情绪宏 F1 分数
  • 负面情绪加权 F1 分数

搜集汇总

数据集介绍

构建方式

Libra-Emo数据集通过精心设计的流程构建，融合了众包与机器生成的双重标注机制。该数据集从电视节目中提取视频片段，涵盖13种情感类别，每个样本包含视频片段、对应字幕、情感标签及标注解释。原始数据经过严格筛选与标准化处理，确保标注质量与数据一致性，最终形成包含35,899条训练样本和635条测试样本的标准化数据集。

特点

作为视频情感识别领域的重要资源，Libra-Emo数据集具有多模态特性，同时包含视觉（视频）、文本（字幕）和情感标注三维数据。其特色在于提供情感分类的详细解释，涵盖从积极情感到消极情感的连续谱系，特别是包含讽刺、绝望等复杂情感类别。数据集规模适中，标注质量可靠，为细粒度情感分析研究提供了理想基准。

使用方法

使用该数据集需通过Git LFS工具克隆仓库获取原始文件，配套的Python脚本支持自动解压处理。评估阶段提供标准化预测脚本，支持单GPU与多GPU并行推理，输出包含视频路径、字幕、真实标签及模型预测结果的JSONL格式文件。专用评估脚本可计算整体准确率、宏F1值等指标，特别针对消极情感类别提供细分评估，满足不同研究场景的需求。

背景与挑战

背景概述

Libra-Emo数据集是近年来情感计算领域涌现的一项重要资源，专注于视频情感识别任务。该数据集由研究团队精心构建，收录了大量来自电视剧的视频片段，并标注了13种精细的情感类别，涵盖了从积极情感到消极情感的广泛谱系。数据集不仅提供视频片段和对应的字幕文本，还包含情感标签及标注解释，为多模态情感分析研究提供了丰富的素材。其独特的标注体系为探索视频内容与情感表达的复杂关系奠定了数据基础，对推动人机交互、情感计算等领域的发展具有显著意义。

当前挑战

Libra-Emo数据集面临的核心挑战主要体现在两个方面：在领域问题层面，视频情感识别本身存在显著困难，包括情感的主观性导致的标注一致性难题、跨文化情感表达的差异性，以及多模态信息（视觉、文本）融合的技术瓶颈。在构建过程层面，数据集创建者需要处理视频版权获取的复杂性、确保大规模视频标注的质量控制，以及解决视频数据存储与处理的工程挑战。这些因素共同构成了该数据集在研究和应用中的主要障碍。

常用场景

经典使用场景

在情感计算领域，Libra-Emo数据集因其丰富的视频片段和精细的情感标注而成为多模态情感识别研究的基准工具。研究者通常利用该数据集训练深度学习模型，通过同时分析视觉信号（面部表情、肢体语言）和文本信息（字幕内容）来提升跨模态情感表征能力。其13类情感标签体系为复杂情感状态的细粒度分类提供了标准化的评估框架，特别适合验证多模态融合算法的有效性。

衍生相关工作

基于Libra-Emo的跨模态基准测试催生了EMER、MERAN等创新架构，这些模型通过时空注意力机制实现视频-文本特征的对齐。数据集中的情感解释文本启发了可解释AI方向的研究，如CM-BERT模型首次实现了情感预测与归因分析的联合建模。其细粒度标注方案还被Adaptive Emotion Taxonomy等研究引用，推动了情感分类体系的标准化进程。

数据集最近研究

最新研究方向

随着多模态情感计算技术的快速发展，Libra-Emo数据集因其丰富的视频情感标注信息成为该领域的重要基准资源。近期研究主要聚焦于多模态特征融合策略的优化，通过结合视觉、文本和语音模态的互补信息，提升复杂场景下的细粒度情感识别性能。在深度学习框架方面，基于Transformer的跨模态注意力机制成为主流方法，研究者们尝试通过改进时空特征提取模块来捕捉视频中微妙的表情变化和语境线索。该数据集也被广泛应用于情感解释生成任务，探索如何使AI系统不仅识别情感，还能生成符合人类认知的解释逻辑。随着元宇宙和虚拟交互技术的兴起，Libra-Emo标注的13类复杂情感标签为构建更具共情能力的数字人提供了关键训练素材。