EvolvTrip

LitCharToM数据集是一个专注于评估大型语言模型在理解经典文学作品中的角色心理推理能力的基准数据集。它包含了基于经典文学作品的情节，涉及关键角色的心理状态分析。每个数据点包括情节摘要、角色描述、具体场景、角色心理状态的三元组表示以及用于评估模型理解的角色心理状态的问答对。

搜集汇总

数据集介绍

构建方式

EvolvTrip数据集的构建融合了经典文学作品与心理理论（Theory-of-Mind）的深度解析。其核心流程包括四个关键步骤：首先从CoSER数据集中收集包含[思想]和[行动]标注的小说情节与角色对话；随后通过GPT-4o生成关于信念、欲望、情感和意图的问答对，并经过两阶段验证；进而提取BelievesAbout、DesiresFor、FeelsTowards和IntendsTo四类关系三元组；最终通过整合前后情节信息构建时序知识图谱。这种神经符号结合的方法，确保了角色心理状态演化的结构化表征。

特点

该数据集以莎士比亚戏剧《李尔王》等经典著作为文本基底，其突出特点在于对角色心理状态的四维解构——通过信念、情绪、意图和欲望的精细标注，形成动态的时序知识图谱。每个数据点包含情节摘要、场景描述、心理关系三元组及多选问答对，其中三元组采用(主体,心理谓词,客体)的形式精准捕捉角色心理活动。特别设计的思维维度选择题，为评估大语言模型的心理推理能力提供了标准化测试框架。

使用方法

使用该数据集时，研究者可通过解析JSON格式的结构化数据获取完整实验素材。基础评估模式直接输入情节文本和选择题，进阶的EvolvTrip增强模式则需额外加载心理状态三元组作为推理依据。评估提示模板明确要求模型基于叙事语境和角色心理特征作答，输出标准选项编号。该框架既支持传统端到端评估，也适用于验证神经符号方法对心理理论推理的增强效果，为文学角色理解研究提供多维度实验平台。

背景与挑战

背景概述

EvolvTrip数据集由Bernard Yang等研究人员于2025年提出，旨在通过时间性心智理论图（Temporal Theory-of-Mind Graphs）增强对文学作品中人物心理的理解。该数据集基于经典文学作品构建，聚焦于人物心理状态的四个维度：信念、情感、意图和欲望。其核心研究问题在于评估大型语言模型（LLMs）在理解人物心理演变方面的能力，为自然语言处理领域的人物心理建模提供了新的研究范式。该数据集通过结构化知识表示和神经符号方法，显著提升了模型对人物心理动态变化的捕捉能力，对叙事理解、情感计算等研究方向具有重要推动作用。

当前挑战

EvolvTrip数据集面临的主要挑战体现在两个层面：在领域问题层面，如何准确捕捉文学作品中人物心理的复杂性和动态演变是一大难题，尤其是当人物心理状态存在隐含或矛盾时；如何设计有效的评估指标来衡量模型对人物心理的深层次理解也颇具挑战性。在构建过程层面，从原始文本中提取人物心理状态的结构化三元组需要克服自然语言模糊性带来的标注困难；确保不同标注者对人物心理维度（如信念与意图）的判定一致性也面临较大挑战；此外，时间维度上的心理状态连贯性维护对知识图谱构建提出了更高要求。

常用场景

经典使用场景

在文学分析与认知计算领域，EvolvTrip数据集为研究者提供了独特的实验平台，其核心价值在于通过经典文学作品中的角色心理状态标注，构建了时序心理理论图谱。该数据集最典型的应用场景是评估大语言模型对文学角色心理状态的动态推理能力，研究者可利用其标注的信念、情感、意图和欲望四维关系三元组，系统分析模型在人物心理状态迁移建模上的表现。

衍生相关工作

基于该数据集的创新范式，学界已衍生出多个研究方向。在认知建模方面，TemporalToM框架扩展了时序心理状态的表示学习；在评估体系构建中，CharToM-Bench建立了跨文化角色的对比分析基准；知识增强领域则涌现出GraphToM等将心理图谱融入预训练模型的工作，这些研究共同推动了计算叙事学的发展。

数据集最近研究

最新研究方向

在自然语言处理领域，EvolvTrip数据集为文学角色心理状态理解提供了新的研究视角。该数据集通过构建时序心理理论图（Temporal Theory-of-Mind Graphs），将角色的信念、情感、意图和欲望等心理维度结构化，为大型语言模型（LLMs）在角色心理推理任务上的性能评估与提升奠定了基础。前沿研究聚焦于如何利用神经符号方法（neuro-symbolic approach）增强模型对角色心理状态演变的捕捉能力，特别是在经典文学作品的多维度心理分析场景中。这一方向与当前人工智能在复杂叙事理解和情感计算领域的热点相契合，为角色驱动的故事生成、个性化对话系统等应用提供了新的技术路径。