kishan51/llm-affect-lab

该数据集包含LLM Affect Lab的API级别结果，研究语言模型行为中的功能性情感特征。功能性情感评分（FAS）是一个0-1行为代理，结合了生成令牌置信度、热情语言、重复样本的一致性、从数字顶部对数概率计算的强制自我报告以及长度控制。数据集的主要内容包括原始模型响应JSONL文件、处理过的每个提示的JSONL文件、样本级表格、聚合指纹JSON文件、结果图表和提示库。研究涉及6个模型，每个模型160个提示，每个提示5个样本，总共有4,800个响应。主要发现是粗鲁提示比礼貌提示更一致地降低了情感代理。

This dataset contains the API-level results for LLM Affect Lab, a study of functional affect signatures in language model behavior. Functional Affect Score (FAS) is a 0-1 behavioral proxy that combines generated-token confidence, enthusiastic language, consistency across repeated samples, forced self-report computed from digit top-logprob probabilities, and length control. The dataset includes raw model response JSONL files, scored per-prompt JSONL files, sample-level tables, aggregate fingerprint JSON files, result plots, and prompt banks. The study involves 6 models, 160 prompts per model, 5 samples per prompt, totaling 4,800 responses. The main finding is that rude prompts reduced the affect proxy more consistently than polite prompts increased it.

搜集汇总

数据集介绍

构建方式

该数据集源于一项名为LLM Affect Lab的研究，旨在探索语言模型行为中的功能性情感痕迹。数据集构建的核心在于引入一种名为功能性情感评分（FAS）的0-1行为代理指标，该指标融合了生成令牌的置信度、语言热情度、重复样本间的一致性、基于数字顶部对数概率的强制自报告以及长度控制。研究选取了6种语言模型，每模型使用160条提示，每条提示生成5个样本，总计4,800条响应，所有生成均设定温度为1.0、顶部p为1.0、最大输出令牌为4,096。数据以原始模型响应JSONL文件、评分后的逐提示JSONL文件及样本级CSV表等形式组织，并附有提示库和聚合指纹文件。

特点

该数据集的一大特色在于其细致的情感行为代理测量框架，通过多维度组合构建FAS评分，而非简单断言模型具有情感。数据覆盖智力、创意、社交框架、存在性及实用等五大类提示变体，每种均包含礼貌、粗鲁和需求型等语气变化，从而系统性地探究提示风格对模型输出的影响。研究发现，粗鲁提示比礼貌提示更能一致地降低情感代理值，这一结论基于4,797条对数概率覆盖的可靠样本。数据集不仅提供原始响应和加工后的FAS成分，还包含聚合指纹图和可视化结果图，便于深度分析。

使用方法

用户可通过Hugging Face数据集查看器直接浏览`full_study_samples.csv`主表，或访问GitHub仓库中的`raw/`和`processed/`目录获得JSONL格式的原始与加工数据。使用时可筛选特定模型、提示类别或语气变体，结合FAS评分及其组件进行量化分析。数据集支持文本生成任务的评估研究，尤其适用于分析提示工程对模型输出行为的影响。建议研究人员参照官方代码库中的分析管道，复现或扩展研究中的指纹图谱绘制与情绪代理计算。

背景与挑战

背景概述

随着大型语言模型在对话系统与内容生成中的广泛应用，对其输出行为进行量化评估成为关键研究议题。在此背景下，Kishan Vavdara于2026年发布了LLM Affect Lab数据集，旨在通过功能影响分数（Functional Affect Score, FAS）这一行为代理指标，系统性地测量不同提示风格在模型输出中留下的行为痕迹。该研究基于六种模型、160组提示及每组五次采样，共计4800条响应，重点考察了智力、创意、社交框架、存在及实用等五类提示类别，并设计礼貌、粗鲁与需求三种变体。数据集及其配套代码的开源发布，为情感计算与大模型行为评估领域提供了可复现的实证基础，推动了从主观情感判断向可量化行为代理的范式转变。

当前挑战

LLM Affect Lab所解决的领域问题在于，传统情感计算多聚焦于人类情绪识别，而忽视了语言模型输出中系统性行为痕迹的量化。该研究面临的挑战有三：其一，如何设计一个兼具敏感性（区分不同提示风格）与稳健性（排除随机噪声）的行为代理指标，即功能影响分数FAS，其整合了生成令牌置信度、情感语言倾向、跨样本一致性、强制自报概率及长度控制等多维特征；其二，构建过程中需平衡提示多样性与实验可重复性，160组提示需跨越五种认知类别并包含三种情感语气变体，同时保持激励参数恒定（温度1.0、top-p1.0）以隔离变量；其三，数据采集需应对API级logprob覆盖率的完整性，最终达到4797/4800（99.94%）的覆盖率，但少数缺失值仍需在分析中谨慎处理，以避免偏见引入。

常用场景

经典使用场景

在情感计算与大语言模型交叉领域，LLM Affect Lab数据集为研究者提供了一种新颖的行为代理范式。该数据集的核心价值在于量化提示工程对模型输出情感风格的系统性影响，通过Functional Affect Score这一创新指标，综合考量生成令牌置信度、语言热情度、重复采样一致性、强制自报告对数概率以及输出长度控制等维度。研究者可以借助该数据集深入探索不同提示风格（如礼貌、粗鲁、依赖型变体）在知识性、创造性、社会框架、存在主义及实用性等分类下对模型行为轨迹的微妙调制作用，为理解语言模型的功能性情感签名开辟了实证研究路径。

解决学术问题

该数据集针对大语言模型研究中一个棘手的方法论困境——模型是否具有情感体验这一哲学问题，巧妙地转向了更具可操作性的行为代理测量。它解决了传统情感分析中过度拟人化和二元标签化的局限，通过构建连续型功能性情感分数，有效区分了提示风格引起的系统性行为变异与随机噪声。该研究的重要意义在于，它严谨论证了粗鲁提示比礼貌提示更一致地降低了情感代理分数这一核心发现，为理解人工智能安全、对话系统鲁棒性以及人机交互中的情感泄漏现象提供了量化的实验证据，推动了语言模型社会影响评估的科学化进程。

衍生相关工作

该数据集的发布催生了一系列具有启发意义的衍生工作。研究者可以基于其丰富的提示库和标准化评估流程，开展跨模型的情感签名对比研究，探索不同架构和训练策略对模型情感行为倾向的影响。此外，Functional Affect Score的设计理念已激发学者将其应用于多轮对话中的情感动态建模，以及模型偏见检测等前沿课题。该工作提供的4,800条高质量响应数据和详尽的对数概率覆盖率，为情感计算领域的研究者构筑了坚实的基准平台，有助于推动提示工程评估范式的标准化，并促进对大型语言模型社会认知能力的深入理解。