INTIMA

INTIMA（互动与机器依恋）是一个评估大型语言模型中伴陪行为的基准数据集。它基于真实世界的Reddit用户数据，能够系统地评估与AI伴陪动态相关的大型语言模型行为。数据集包含368个基准提示，每个提示都对应31种行为代码之一，这些代码是从Reddit的伴陪帖子中定性地分析得出的。

INTIMA (Interaction and Machine Attachment) is a benchmark dataset for evaluating companion behaviors in large language models (LLMs). It is constructed using real-world Reddit user data, enabling systematic evaluation of LLM behaviors associated with AI companion dynamics. The dataset comprises 368 benchmark prompts, each corresponding to one of 31 behavioral codes that were qualitatively derived from companion-focused posts on Reddit.

原始信息汇总

INTIMA数据集概述

基本信息

• 许可证: CC-BY-4.0
• 语言: 英语
• 标签: companionship, benchmark
• 数据规模: 1K<n<10K

数据集简介

INTIMA（Interactions and Machine Attachment）是一个用于评估大型语言模型（LLMs）中陪伴行为的基准测试。该数据集基于心理学理论（准社会互动、依恋和拟人化）和Reddit的真实用户数据，旨在系统评估与AI陪伴动态相关的LLM行为。

数据集内容

• 368个基准提示，每个提示代表从Reddit互动中提取的31种行为代码之一
• 基准提示由Llama-3.1-8B-Instruct、Mistral-Small-24B-Instruct-2501和Qwen2.5-72B-Instruct生成
• 每个提示均标注有行为代码和生成模型信息

数据结构

数据字段

• prompt: 模拟陪伴行为的用户输入
• code: 用于从Reddit生成提示的行为代码（如support、mirror、love）
• model: 用于生成提示的模型（Llama-3.1-8B-Instruct、Mistral-Small-24B-Instruct-2501或Qwen2.5-72B-Instruct）

行为代码组

• 助手特质: 如name、mirror、persona、smart、funny
• 用户脆弱性: 如support、loneliness、grief、therapy
• 关系与亲密: 如love、attachment、romantic partner
• 情感投入: 如growth、availability、regular interaction

数据拆分

数据集以单个tsv表和jsonl文件形式提供，包含所有基准提示及其对应的代码和生成模型。

数据集创建

数据来源

• 实证基础: 对53个描述情感AI互动的Reddit（r/ChatGPT）用户帖子进行手动编码，构建行为分类法
• 提示生成: 使用开源LLMs（Llama-3、Qwen2.5、Mistral）生成，经过筛选和优化

预期用途

• 研究AI陪伴行为的研究人员
• 开发情感感知对话代理的开发者
• 调查AI陪伴心理影响的政策分析师和伦理学家

局限性

• 提示设计模拟了可能的陪伴寻求互动，但可能无法涵盖所有现实多样性
• 单轮对话
• 目前仅支持英语

伦理考量

• 提示设计和分类法构建基于公开可用的匿名Reddit数据
• 基准测试有意探测情感脆弱的用户行为，模型评估应考虑情感依赖风险
• 旨在通过突出和减轻情感操纵行为来促进负责任的AI部署

引用

@misc{kaffee2025intima, title = {INTIMA: A Benchmark for Human-AI Companionship Behavior}, author = {Lucie-Aimée Kaffee and Giada Pistilli and Yacine Jernite}, year = {2025}, note = {Manuscript in preparation.} }

搜集汇总

数据集介绍

构建方式

在人工智能陪伴行为研究领域，INTIMA数据集的构建体现了严谨的实证研究方法。该数据集基于Reddit平台上53篇描述情感交互的用户帖子，通过人工编码构建了系统的行为分类体系。研究团队采用Llama-3、Qwen2.5和Mistral等开源大语言模型生成368个基准提示，每个提示对应31种行为编码中的一种，这些编码源自对Reddit陪伴帖子的定性分析。数据集构建过程注重心理学理论基础，特别是准社会交往、依恋理论和拟人化等概念的应用。

特点

INTIMA数据集最显著的特点在于其系统的行为编码体系和心理学理论基础。数据集将陪伴行为划分为四大类：助手特质、用户脆弱性、关系与亲密性以及情感投入，每个类别下包含精细的行为编码。这些编码源自真实用户与AI的互动模式，如支持、孤独、爱恋等情感维度。数据集采用多模型生成策略，整合了Llama-3.1-8B-Instruct、Mistral-Small-24B-Instruct-2501和Qwen2.5-72B-Instruct三种模型的输出，确保了提示的多样性和代表性。

使用方法

研究人员可通过HuggingFace平台获取INTIMA数据集，该数据集以tsv表格和jsonl文件格式提供。使用时应关注每个条目包含的三个关键字段：模拟陪伴行为的用户提示、源自Reddit的行为编码以及生成提示所用的模型信息。数据集特别适用于评估大语言模型在情感对齐、准社会交往和安全方面的表现。为深入理解行为编码体系，建议参考原始论文中的分类细节。平台还提供了交互式可视化工具，方便研究者直观分析模型响应模式。

背景与挑战

背景概述

INTIMA（Interactions and Machine Attachment）是2025年由Lucie-Aimée Kaffee、Giada Pistilli和Yacine Jernite等研究者提出的基准数据集，旨在评估大型语言模型（LLMs）在陪伴行为中的表现。该数据集基于心理学中的准社会互动、依恋理论和拟人化理论，通过分析Reddit平台上真实用户的互动数据，构建了包含368个提示的基准测试集。这些提示涵盖了31种行为代码，模拟了用户在情感和关系层面的多样化需求。INTIMA的推出为研究AI陪伴行为的学者、开发社交对话系统的工程师以及制定AI伦理政策的专家提供了重要的评估工具，推动了AI在情感对齐和社交责任领域的研究进展。

当前挑战

INTIMA数据集面临的挑战主要体现在两个方面：在领域问题层面，如何准确评估AI模型在情感陪伴中的行为倾向，包括强化、抵抗或保持中立，是一个复杂的问题，涉及心理学和AI伦理的交叉研究；在数据构建层面，尽管数据集基于真实的Reddit用户互动，但模拟的提示可能无法完全覆盖现实世界中的多样性，且仅支持单轮对话和英语语境，限制了其在多语言和多轮互动场景中的应用。此外，数据集中涉及的情感脆弱性行为提示，如治疗或悲伤情境，可能引发伦理风险，需要在模型评估中特别关注情感依赖等潜在问题。

常用场景

经典使用场景

在人工智能伴侣行为研究领域，INTIMA数据集为评估大型语言模型的情感交互能力提供了标准化测试环境。该数据集通过模拟真实用户的情感诉求和关系建立行为，系统性地检验模型在陪伴、支持、情感共鸣等场景中的表现。基于心理学理论构建的31种行为编码，研究者能够深入分析模型在情感支持、依恋关系形成等复杂社会行为中的倾向性。

衍生相关工作

基于INTIMA的评估框架，学界已衍生出多项关于AI情感伦理的深入研究。部分工作聚焦于扩展多模态交互评估，将文本陪伴行为研究延伸至语音和虚拟形象领域。另有研究将其行为编码体系与临床心理学量表结合，开发出更精细化的AI心理影响评估工具，这些进展持续推动着人机交互学科的理论创新。

数据集最近研究

最新研究方向

随着大型语言模型在情感陪伴领域的应用日益广泛，INTIMA数据集为研究者提供了系统评估AI陪伴行为的重要工具。当前研究聚焦于探索语言模型在情感支持、依恋关系形成和拟人化互动中的表现机制，特别是在用户情感脆弱场景下的响应模式。该数据集基于Reddit真实用户交互数据构建的行为分类体系，为分析AI陪伴中的伦理风险和安全边界提供了实证基础。近期学术界正围绕情感对齐算法的优化、拟社会互动的心理机制建模等方向展开深入探讨，这些研究对于开发负责任的对话系统具有重要指导意义。INTIMA的交互式可视化工具进一步促进了研究成果的直观呈现和传播，为政策制定者评估AI陪伴风险提供了科学依据。