YOU TELL ME

YOU TELL ME数据集由德国雷根斯堡大学创建，包含与基于GPT-4的行为改变支持对话相关的文本用户交互数据。该数据集收集了185次对话，共计2149个对话轮次，涉及164名参与者，旨在通过真实交互数据优化此类系统设计。数据集内容包括对话数据、用户语言分析、感知测量和用户反馈，特别关注用户行为对LLM生成文本的影响。该数据集适用于研究人机交互、信息行为以及自然语言处理等领域，旨在解决行为改变干预中的用户行为分析和系统优化问题。

The YOU TELL ME dataset was developed by the University of Regensburg in Germany, and contains textual user interaction data related to GPT-4-powered behavior change support conversations. Comprising 185 conversations totaling 2149 dialogue turns and involving 164 participants, this dataset is intended to optimize the design of such systems through real-world interaction data. The dataset includes conversation data, user language analysis, perceptual measurements, and user feedback, with a particular focus on the influence of user behaviors on text generated by large language models (LLMs). It is applicable to research across fields including human-computer interaction, information behavior, and natural language processing, and aims to resolve challenges related to user behavior analysis and system optimization in behavior change interventions.

搜集汇总

数据集介绍

构建方式

该数据集源于一项预先注册的在线用户研究，旨在评估基于GPT-4的动机性行为改变支持系统的可控性与有效性。研究共招募164名参与者，完成185次对话，收集了2149个对话轮次。对话围绕三种目标行为（健康饮食、减少拖延、提升可持续性）展开，参与者需选择一种情境并代入角色。系统采用两种条件：标准GPT-4与基于动机性访谈（MI）原则调整的GPT-4。对话分为三个阶段——参与聚焦（4轮）、激发（5轮，由GPT-4生成）和总结（3轮）。每轮用户话语通过预训练分类器评估其对行为改变的立场（改变、维持、中性），而GPT-4生成的回复则由用户评分（有帮助、无帮助、有害）并提供可选解释。数据包括对话内容、用户语言分析、感知度量以及用户对LLM生成回复的反馈。

特点

该数据集的核心特点在于其多维度的用户行为与系统交互记录。首先，它提供了真实用户与LLM驱动的对话代理在敏感情境下的互动数据，弥补了以往系统导向研究的不足。其次，数据集不仅包含对话日志，还整合了丰富的用户感知度量，如治疗联盟（WAI-SR）、动机性访谈感知（CEMI）、用户参与度（UES-SF）、共情感知、沟通能力感知以及行为改变准备度（沉思阶梯）。此外，用户话语被细粒度分类为改变、维持或中性，并标注了主题（承诺、步骤、理由）与理由类型。数据还标记了技术异常与注意力检查失败案例，保留了真实交互的复杂性。所有对话及评分解释均提供德语原文与英语翻译，便于跨语言研究。

使用方法

数据集可用于多领域研究，包括人机交互、信息行为与自然语言处理。研究者可分析用户行为在不同对话条件下的差异，如话语分类、系统回复评分、自我表露程度及合作性。通过对话日志可探索用户行为对聊天成功的影响，或利用用户话语推断其行为改变准备度。此外，数据可用于训练分类器或生成模型，以改进LLM在敏感情境中的输出质量。具体研究问题包括：用户与MI适配系统的互动模式是否不同？哪些机器人行为最受欢迎且最能提升改变准备度？与规则或检索式系统相比，用户如何与LLM系统互动？数据集还支持定性分析，揭示用户对支持型对话的隐含期望与信息需求。

背景与挑战

背景概述

在人工智能与心理健康交叉领域，对话代理正从单纯的信息提供者转向情感支持与行为干预的载体。然而，现有研究多聚焦于系统能力的优化，忽视了用户行为对大语言模型生成文本的反向塑造作用。2024年，德国雷根斯堡大学的Selina Meyer与David Elsweiler发布了“YOU TELL ME”数据集，旨在填补这一空白。该数据集基于一项预注册的用户实验，收集了164名参与者与两种GPT-4驱动的对话代理在健康饮食、减少拖延与可持续生活三个目标行为上的185次交互记录。研究核心在于探究用户在与大语言模型对话中的不可预测行为如何影响系统可控性与干预效果。该数据集不仅包含对话文本，还整合了用户语言分析、感知测量与对模型生成回合的反馈，为设计以用户为中心的社交影响对话系统提供了实证基础，对理解人机交互中的情感与行为动态具有重要推动力。

当前挑战

该数据集面临的核心挑战源于用户行为的高度不可预测性及其对系统的影响。首先，在领域问题层面，大语言模型虽能生成灵活、类似人类咨询师的回应，但用户常偏离既定角色，提出非行为改变相关的问题或隐含信息需求，这要求系统在情感支持与信息检索间动态平衡，而现有模型对此缺乏鲁棒性。其次，在构建过程中，研究者面临多重实际困难：参与者难以维持抽象角色设定，多数人从自身视角交互，降低了实验控制性；技术故障导致部分对话重复发送，需标记处理以保证数据有效性；此外，德语原始数据需通过机器翻译转为英文，虽经质量控制，但细微语义差异可能影响后续分析。这些挑战共同指向一个关键问题：如何在真实交互中确保大语言模型在敏感场景下的安全性、可控性与用户满意度。

常用场景

经典使用场景

在行为改变支持对话系统的研究中，YOU TELL ME数据集被广泛用于探索用户与基于GPT-4的对话代理之间的交互模式。该数据集记录了164名参与者与两种不同提示策略（标准GPT-4与整合动机访谈原则的MI-adapted GPT-4）进行的185次对话，涵盖健康饮食、可持续生活和减少拖延三类目标行为。研究者利用这些对话数据，结合用户对机器人回复的评分、语言分类以及前后测问卷结果，深入分析用户在不同条件下的行为差异，例如用户话语的效价（改变、维持或中性）和主题分布，从而揭示LLM在敏感咨询场景中的可控性与用户响应特征。

实际应用

在实际应用中，该数据集为设计更安全、更有效的心理健康与行为改变对话代理提供了关键指导。例如，通过分析用户对缺乏建议的抱怨，系统开发者可以优化对话策略，平衡反思引导与信息提供；同时，数据集揭示了用户隐式表达信息需求的方式，这有助于构建结合检索增强生成技术的混合系统，在提供情感支持的同时精准满足用户未言明的知识需求。此外，研究结果可用于训练分类器或生成模型，以提升LLM在敏感话题中的回复适当性，从而推动数字健康干预工具从实验室走向真实世界的部署。

衍生相关工作

基于YOU TELL ME数据集，衍生了一系列经典研究工作。例如，研究者利用对话中的用户话语分类和评分数据，训练了用于检测用户改变意愿的预分类器，并探索了不同机器人行为（如重新框架、肯定）对用户改变准备度的提升效果。此外，该数据集被用于对比LLM与传统规则或检索式系统在用户自我表露、感知共情和治疗联盟方面的差异，扩展了早期关于用户对聊天机器人错误容忍度的研究。这些工作不仅深化了对LLM驱动对话系统可控性的理解，还为未来跨内容域的行为改变对话研究奠定了方法论基础。