AgenticCommons/counsel-chat-miti-st-dpo

这是一个用于偏好调优（DPO）的英语心理学/咨询助手数据集，基于nbertagnolli/counsel-chat数据集构建。每行数据包含一个(prompt, chosen, rejected)三元组，其中prompt是客户问题，chosen和rejected都是美国持证治疗师对同一问题的真实回答，分别代表最高分和最低分回答。偏好信号来自MITI-ST v1评分标准（基于动机性访谈治疗完整性手册4.2.1版适应而来），该标准评估共情、合作、反思等维度。数据集使用Claude Opus 4.7作为评分器（仅用于评分，不生成文本），旨在用于心理健康和咨询场景的模型微调，强调动机性访谈风格（如共情、合作）而非建议给予。数据集包含问题ID、主题、提示、选择/拒绝回答及分数、治疗师标识、所有回答的详细评分矩阵等信息，并持续更新。已知限制包括单评分器偏差、MITI标准对信息给予的惩罚、未评估领域准确性等。A preference-tuning (DPO) dataset for English psychology/counseling assistants, derived from the nbertagnolli/counsel-chat dataset. Each row is a (prompt, chosen, rejected) triple where the prompt is a client question, and both chosen and rejected are real answers written by US licensed therapists to the same question, representing the highest and lowest scored responses respectively. The preference signal is based on the MITI-ST v1 rubric (adapted from the Motivational Interviewing Treatment Integrity Coding Manual 4.2.1), which evaluates dimensions such as empathy, partnership, and reflection. The dataset uses Claude Opus 4.7 as a scorer (only for scoring, not generation) and is intended for fine-tuning models in mental-health and counseling contexts, emphasizing Motivational Interviewing style (e.g., empathy, collaboration) over advice-giving. It includes fields like question ID, topic, prompt, chosen/rejected answers and scores, therapist identifiers, a detailed score matrix for all answers, and is continuously updated. Known limitations include single-judge bias, MITIs penalization of information-giving, lack of domain accuracy assessment, and therapist style autocorrelation.

搜集汇总

数据集介绍

构建方式

该数据集源于心理咨询领域中的真实对话语料库counsel-chat，专注于动机性访谈（MI）风格的偏好微调。构建过程中，对于每条包含至少三位持证治疗师回答的来访者问题，采用MITI-ST v1评分体系（基于MITI 4.2.1规程的单轮改编版本）对全部回答进行独立评分。评分任务由Claude Opus 4.7模型作为评判者完成，仅用于打分而不生成任何文本，从而避免了自偏好循环的偏差。随后，选取综合得分最高的回答作为chosen，最低的作为rejected，以共情维度作为同分决胜标准。完整的N×5维评分矩阵被保留在all_answers字段中，支持后续用户在不重复评分的前提下重新配对或应用不同的偏好选取策略。数据集以追加方式持续增长，现有规模预计可达1300余对DPO样本。

特点

该数据集的核心特征在于其所有回答均来源于真实的美国持证治疗师，未掺杂任何模型生成的文本，确保了数据生态的纯净性。其偏好信号基于MITI-ST v1评分体系，从共情、协作关系、反思性回应、非说服性及非对抗性五个维度综合评价，全面刻画了动机性访谈的临床忠诚度。数据集不仅提供了标准的chosen/rejected配对，还保存了完整的评分矩阵和回答列表，支持下游任务如奖励模型训练或偏好法则研究。值得注意的是，该数据集并未评估回答的事实准确性，而是聚焦于治疗风格的人文关怀维度，因此在单轮问答中可能对信息性较强的回答产生评分偏差。

使用方法

该数据集主要适用于英语心理咨询场景中对话模型及助手的偏好微调，支持DPO、IPO、KTO等多种偏好学习算法。使用者可将其直接用于训练具有动机性访谈风格的响应模型，亦可用于训练基于MI对齐的奖励模型。由于保留了完整的评分矩阵，研究人员可根据自定义策略重新选择chosen/rejected配对，或构造所有可能的配对组合以进行更细粒度的分析。同时，该数据集可作为评估“回答是否具有MI风格”的参考语料库。需注意的是，该数据集不适用于临床决策场景，也不应被用于部署无监督的心理健康代理系统。数据集遵循MIT许可协议，使用者应注意其中少数治疗师风格可能因频繁出现而被过度表征的问题。

背景与挑战

背景概述

在心理健康与咨询领域，对话系统的对齐训练长期面临一个核心困境：高质量的人类治疗师回复极度稀缺且获取成本高昂，而依赖大语言模型生成偏好数据又易陷入自偏好循环，削弱模型的真实泛化能力。为突破这一瓶颈，counsel-chat-miti-st-dpo数据集于2024年由Agentic Commons团队基于Bertagnolli等人于2020年发布的Counsel Chat语料库构建，核心研究问题在于如何在不引入模型生成文本的前提下，利用标准化的动机性访谈治疗保真度评估工具MITI 4.2.1，实现对真实治疗师回复的自动化偏好排序。该数据集仅以Claude Opus 4.7作为评分器，从每道咨询问题对应的多名美国持牌治疗师回答中，根据MITI-ST单轮适配量表的总体得分选取最优与最劣回答构成偏好对，从而为心理咨询助手的策略调整训练提供了无模型文本污染的高保真训练信号，对推动情感智能对话系统的忠实度与协作性训练具有里程碑式的影响。

当前挑战

该数据集在解决领域问题与构建过程中面临着多重挑战。领域层面，动机性访谈的核心风格——共情、协作与反思——在单轮问答场景中极易与信息提供行为发生冲突，因为MITI量表的“不劝说”维度天然惩罚治疗师给出建议或心理教育等知识性回复，导致偏好信号主要由共情与协作维度贡献，而事实准确性未被纳入评估，这使得模型可能在追求共情表达时牺牲回答的临床实用性。构建过程中，数据集依赖单一评分器（Claude Opus 4.7），存在对表面特征如回复长度或谨慎用词的偏好偏差风险；同时，少数高产治疗师的风格倾向会在多条数据中被重复放大，造成偏好信号的风格自相关；此外，约460道具有至少三条治疗师回复的咨询问题中，仅有部分完成评分，数据持续追加的特性也增加了版本一致性与复现的难度。

常用场景

经典使用场景

counsel-chat-miti-st-dpo 数据集的核心应用场景在于对心理咨询与辅导场景下的对话模型进行偏好微调，尤其是在需要体现动机性访谈（Motivational Interviewing, MI）精神的对话系统中。该数据集提供了由美国持证治疗师撰写的真实咨询回答，并基于 MITI-ST v1 评分准则对每条回答在共情、协作、反思、非说服和非对抗等维度上进行评估，从而构建出高质量的选择-拒绝偏好对。这使得研究者能够在无需引入任何模型生成文本的情况下，通过 DPO、IPO 或 KTO 等偏好优化算法训练出更富同理心、更倾向于合作而非说教的对话助手。此外，该数据集也适用于训练奖励模型，以评估咨询回答在 MI 风格上的表现，从而推动心理学对话系统的风格对齐研究。

解决学术问题

该数据集直接回应了心理健康对话系统中一个长期存在的学术难题：如何在避免使用模型自生成文本引发自偏好循环的前提下，构建具有专业心理学评估基础的偏好数据集。传统方法往往依赖于人工标注或 LLM 自评，前者成本高昂且难以规模化，后者则容易引入模型自身的风格偏好。counsel-chat-miti-st-dpo 通过引入 MITI 4.2.1 临床编码框架的单轮适配版本 MITI-ST v1，将持证治疗师回答在共情、协作、反思行为、非说服和非对抗等维度上的表现量化，并以此构建偏好信号，为解决“如何让对话模型学会像优秀治疗师一样回应”这一核心问题提供了可靠的数据基础。该工作推动了偏好微调在敏感领域（如心理健康）中的应用伦理与科学严谨性之间的平衡，具有重要的方法论意义。

衍生相关工作

counsel-chat-miti-st-dpo 数据集的构建思路与相关技术路线催生了一系列后续研究工作。首先，该数据集的出现为偏好对齐方法在心理健康领域的应用提供了标准化评估基准，促进了针对共情对话的奖励模型研究，例如基于 MITI 维度训练的评分器可用于替代人工评估。其次，该数据集引入的“LLM仅作为评分者、不参与生成”的策略，被后续工作借鉴以规避自偏好偏差，相关研究进一步探索了多评分者融合与评分一致性校准方法。此外，该数据集的全维度评分矩阵也为分析治疗师风格差异提供了丰富素材，衍生出关于治疗师话语风格自动分类与个性化对话系统设计的探索。MITI-ST v1 这一单轮改编方案本身也成为后续将临床编码工具适配到自然语言处理领域的重要参考范例。