SEER (Span-based Emotion Evidence Retrieval)

SEER数据集由密歇根大学计算机科学与工程学院的研究人员创建，旨在评估大型语言模型在识别文本中表达情感的具体跨度方面的能力。该数据集包含对1200个真实世界句子中情感和情感证据的新标注，分为两个任务：在单个句子中识别情感证据，以及在五个连续句子中识别情感证据。数据集的创建过程涉及使用GPT-4.1进行情感标注，并由人类标注者验证和标注情感证据跨度。SEER数据集旨在解决情感证据检测问题，这对于应用如同理心对话和临床支持至关重要。

The SEER dataset was created by researchers from the School of Computer Science and Engineering, University of Michigan, aiming to evaluate the ability of large language models (LLMs) to identify specific spans of sentiment expressed in text. This dataset contains newly annotated sentiment and sentiment evidence for 1,200 real-world sentences, and is divided into two tasks: identifying sentiment evidence within a single sentence, and identifying sentiment evidence across five consecutive sentences. The dataset construction process utilized GPT-4.1 for initial sentiment annotation, with human annotators verifying and annotating the exact sentiment evidence spans. The SEER dataset is designed to address the sentiment evidence detection task, which is critical for applications such as empathetic dialogue and clinical support.

原始信息汇总

SEER数据集概述

数据集名称

SEER: The Span-based Emotion Evidence Retrieval Benchmark

当前状态

开发中（more info coming soon）

备注

该数据集详细信息即将发布

搜集汇总

数据集介绍

构建方式

在情感计算研究领域，SEER数据集的构建体现了对细粒度情感证据标注的深度探索。该数据集基于MSP-Podcast和MuSE两个真实对话语料库，通过多阶段筛选流程精选1200个真实场景语句。首先利用GPT-4.1进行初步情感标注，再经过人工专家双重验证确保标注质量，最终通过类别平衡处理形成包含单句和五句连贯文本的双任务结构。标注过程中特别注重情感证据跨度的精确界定，由训练有素的标注员通过协商讨论确定情感表达的具体文本片段。

特点

SEER数据集的独特价值在于其细粒度的情感证据标注体系。与传统的句子级情感分类不同，该数据集精确标注了文本中实际表达情感的具体词汇片段，为理解情感表达的微观机制提供了重要窗口。数据集包含单句和段落级双重任务设计，既考察基础的情感片段识别能力，又挑战模型在连贯语境中的情感追踪性能。其标注数据涵盖八种基本情感类别和情感维度，且所有语料均源自真实非表演性对话，保证了数据生态效度。特别值得注意的是，数据集中性语句的标注为区分情感表达与中性内容提供了重要基准。

使用方法

在应用实践中，SEER数据集通过两种互补的任务范式支持模型评估。检索任务要求模型直接提取情感证据片段，适用于情感基础分析等应用场景；高亮任务则需在完整文本中标记情感片段，更贴近需要上下文理解的实际应用。评估体系采用基于Kuhn-Munkres算法优化的跨度对齐机制，结合词级F1分数和嵌入相似度双重指标，既考虑边界匹配精度，又兼顾语义相似性度量。研究显示，最佳性能模型在单句任务中接近人类水平，但在段落任务中仍面临中性语句误判和关键词过度依赖等挑战，为后续模型优化指明了改进方向。

背景与挑战

背景概述

SEER（基于跨度的情感证据检索）基准数据集于2025年由密歇根大学与宝洁公司联合研发，旨在解决传统情感识别任务中粒度粗泛的局限性。该数据集聚焦于情感证据检测这一前沿领域，通过精确定位文本中表达情感的具体短语跨度，突破了传统句子级分类的框架束缚。其创新性体现在对真实世界对话场景的深度挖掘，为共情对话系统和临床辅助应用提供了关键技术支持，推动了细粒度情感分析研究范式的转型。

当前挑战

该数据集面临双重挑战：在领域问题层面，需解决传统情感识别方法无法定位具体情感表达片段的缺陷，克服模型对显性情感关键词的过度依赖及中性文本误判问题；在构建过程中，需应对真实语料中情感跨度标注的主观性难题，平衡多词情感表达的连贯性与边界划分的精确性，同时确保跨句子语境下情感证据追踪的标注一致性。

常用场景

经典使用场景

在情感计算研究领域，SEER数据集为细粒度情感分析提供了重要基准。该数据集最经典的应用场景在于评估大语言模型在真实对话文本中定位情感证据片段的能力，通过单句和五句连续文本两种任务设置，系统考察模型对情感表达片段的精确识别。这种基于片段的情感证据检索突破了传统句子级情感分类的局限，为理解语言中情感表达的微观机制提供了全新视角。

解决学术问题

SEER数据集有效解决了情感计算领域长期存在的片段级情感定位难题。传统情感识别方法往往局限于句子级分类或词级标注，前者无法精确定位情感表达的具体位置，后者则容易割裂完整的情感表达单元。该数据集通过1200条真实世界语句的精细标注，填补了片段级情感证据检测的数据空白，为开发能够理解情感表达方式而不仅仅是情感类型的智能系统奠定了坚实基础。

衍生相关工作

基于SEER数据集的创新特性，已衍生出多个重要研究方向。在模型架构方面，研究者开始探索专门针对片段级情感检测的神经网络结构；在跨模态融合领域，结合语音和文本的情感证据检测成为新的研究热点；在应用拓展层面，该数据集启发了情感因果推理、情感演变追踪等延伸任务。这些衍生工作共同推动了细粒度情感分析技术向更深层次发展，为构建更精准的情感智能系统提供了理论支撑。