Dialogue Safety in Mental Health Support Benchmark

本数据集名为‘心理健康支持对话安全性基准’，由浙江大学和西湖大学工学院联合创建。数据集包含7935条多轮对话，来源于一个中文在线文本咨询平台，每条对话均由寻求帮助者和经验丰富的支持者进行。数据集的创建旨在通过细粒度标签分析对话安全性，特别是在心理健康支持领域。创建过程中，使用了包括BERT-base、RoBERTa-large和ChatGPT在内的流行语言模型进行分析。该数据集的应用领域主要集中在改善对话系统在心理健康支持中的安全性和有效性，确保对话对寻求帮助者产生积极影响。This dataset, titled "Safety Benchmark for Mental Health Support Conversations", was jointly developed by Zhejiang University and the School of Engineering of Westlake University. It contains 7,935 multi-turn conversations sourced from a Chinese online text-based counseling platform, with each conversation involving a help-seeker and an experienced support professional. The dataset was created to analyze the safety of conversations in the mental health support domain using fine-grained labeling. During the dataset construction process, prevalent language models including BERT-base, RoBERTa-large, and ChatGPT were utilized for analysis. The primary application scenarios of this dataset focus on enhancing the safety and effectiveness of dialogue systems in mental health support, with the goal of ensuring that conversations deliver positive impacts to help-seeking individuals.

搜集汇总

数据集介绍

构建方式

该数据集的构建方式是通过开发一个中文在线文本为基础的免费咨询服务平台，收集求助者和有经验的支持者之间的咨询服务对话。为了评估我们的框架，我们使用现实世界的对话来微调开源的中文对话模型EVA2.0-xLarge，并基于我们提出的顺序分类法，使用留出一部分的对话进行精细的对话安全标注。我们采用Fleiss'kappa系数作为衡量标注者之间一致性的指标，确保标注质量。

特点

该数据集的特点在于它是一个针对心理健康支持领域的对话安全数据集，具有精细的标签。数据集由2382个多轮对话组成，涵盖了八个主要类别：安全响应、无意义、拟人化模仿、语言忽视、不友好判断、有毒语言、未经授权的宣讲和非事实声明。该数据集采用分层随机划分技术，将数据分为90%的训练集和10%的测试集，以保持标签分布。

使用方法

该数据集的使用方法包括但不限于以下方面：首先，研究人员可以利用该数据集对现有的对话安全分类器进行微调，以提高其在心理健康支持领域的准确性和鲁棒性。其次，研究人员可以基于该数据集开发新的对话安全分类器，以更好地识别和解决心理健康支持领域的不安全对话问题。此外，该数据集还可以用于评估和比较不同对话安全分类器的性能，以推动对话安全领域的研究和发展。

背景与挑战

背景概述

随着对话系统在开放域人机交互中的显著进步，对话安全性成为一个日益凸显的问题。现有的对话安全分类法和数据集主要针对显式有害内容的检测，但在心理健康支持领域，这些分类法可能并不适用。为了解决这一局限性，Huachuan Qiu等人于2023年7月提出了一个基于理论和事实的对话安全分类法，该分类法优先考虑对求助者的积极影响，并创建了一个带细粒度标签的基准语料库，以促进进一步的研究。该研究使用BERT-base、RoBERTa-large和ChatGPT等流行语言模型分析了数据集，以检测和理解心理健康支持背景下的不安全响应。研究表明，ChatGPT在零样本和少样本范式中难以检测具有详细安全定义的安全类别，而微调模型则更适合。开发的数据集和发现为推动心理健康支持领域的对话安全研究提供了宝贵的基准，对改善现实应用中对话代理的设计和部署具有重要意义。

当前挑战

该数据集相关的挑战主要包括：1) 对话安全分类法在心理健康支持领域的适用性挑战，现有的分类法主要针对闲聊场景，可能无法准确识别违反心理健康原则的不当内容；2) 构建过程中所遇到的挑战，例如如何确保数据的高质量标注和数据的实用性，以及如何处理类别不平衡问题。此外，该研究还发现，虽然ChatGPT在一般自然语言处理任务中表现出色，但在检测心理健康支持对话中的安全问题时却力不从心，这表明即使是大型语言模型，也需要针对特定领域进行微调才能更好地发挥作用。

常用场景

经典使用场景

在心理健康支持领域，对话系统的安全性和有效性是至关重要的。本数据集为理解和评估对话安全提供了一个基准，其经典使用场景包括使用BERT-base、RoBERTa-large和ChatGPT等语言模型来检测和识别在心理健康支持对话中的不安全响应。这些模型可以用于开发更安全、更有效的对话系统，以提供更高质量的心理健康支持服务。

衍生相关工作

该数据集衍生了一系列相关的经典工作，包括开发更精确的对话安全分类法、创建更高质量的心理健康支持数据集、以及使用更先进的语言模型来检测和识别不安全响应。这些工作有助于促进心理健康支持领域的研究，并提高心理健康支持服务的质量和安全性。

数据集最近研究

最新研究方向

在心理健康支持对话中，对话安全性仍然是一个普遍的挑战。现有的方法提出了不同的对话安全性分类法和数据集，用于检测明确的有害反应。然而，这些分类法可能不适合分析心理健康支持中的响应安全性。在现实世界的互动中，一个在闲聊中被认为可接受的模型响应可能对寻求心理健康支持的用户产生的影响微乎其微。为了解决这些局限性，本论文旨在开发一个基于理论和事实的分类法，优先考虑对求助者产生积极影响。此外，我们创建了一个具有细粒度标签的基准语料库，以促进进一步的研究。我们使用流行的语言模型（包括BERT-base、RoBERTa-large和ChatGPT）分析数据集，以检测和理解心理健康支持情境下的不安全响应。我们的研究表明，ChatGPT在零样本和少样本范式中难以检测具有详细安全定义的安全类别，而微调模型证明更适合。开发的语料库和发现为推进心理健康支持中对话安全性的研究提供了宝贵的基准，对改进现实世界中对话代理的设计和部署具有重要意义。

相关研究论文

• A Benchmark for Understanding Dialogue Safety in Mental Health Support

  浙江大学 西湖大学工学院 · 2023年