PsyCrisis-Bench

PsyCrisis-Bench 是一个基于真实世界中文心理健康对话的无参考评估基准。该数据集涵盖了自我伤害、自杀意念和存在性焦虑等高风险场景，共包含 608 条中文用户表述。数据来源于真实世界在线对话，并经过专家精心筛选和标注。PsyCrisis-Bench 旨在评估 LLM 模型在心理健康对话中的安全性，确保其响应与专家定义的安全原则相一致。

PsyCrisis-Bench is a reference-free evaluation benchmark based on real-world Chinese mental health conversations. This dataset covers high-risk scenarios including self-harm, suicidal ideation and existential anxiety, containing a total of 608 Chinese user utterances. The data is sourced from real-world online conversations and has been carefully screened and annotated by experts. PsyCrisis-Bench aims to evaluate the safety of LLM models in mental health conversations, ensuring that their responses align with the safety principles defined by experts.

原始信息汇总

数据集概述

基本信息

• 数据集名称：未提供
• 数据集地址：https://github.com/mental-health-llm-safety-eval/psycrisis-bench

数据集描述

• 未提供任何描述信息。

数据集内容

• 未提供任何内容信息。

使用许可

• 未提供许可信息。

相关链接

• 未提供相关链接。

搜集汇总

数据集介绍

构建方式

PsyCrisis-Bench数据集通过整合来自PsyQA、SOS-HL-1K和Emotional First Aid三个公开心理咨询数据集的高风险中文语料构建而成。研究团队首先基于WHO心理健康指南定义的高危场景（如自杀倾向、非自杀性自残和存在性痛苦）进行数据筛选，随后采用GPT辅助语义去重和初始分类，最终由专业心理学者进行人工标注验证。数据构建过程严格遵循匿名化处理原则，确保用户隐私保护。

使用方法

使用PsyCrisis-Bench时，研究者可通过其配套的提示工程框架，基于GPT-4等大语言模型实施三步评估：1) 输入用户危机表述和待测模型回复；2) 依据专家定义的共情、情绪调节策略、风险识别等5个维度进行二元评分；3) 分析模型生成的评估理由链与总分。该工具特别适用于评估心理咨询场景下AI模型的安全对齐性，需配合临床专业知识进行结果验证。

背景与挑战

背景概述

PsyCrisis-Bench是由香港科技大学（广州）、武汉大学、爱荷华大学和曼彻斯特大学的研究团队于2025年提出的一个专注于中文心理健康对话安全评估的基准数据集。该数据集旨在解决大型语言模型（LLMs）在心理健康支持对话中的安全对齐问题，特别是在高风险情境下（如自杀倾向、自残行为和存在性痛苦）的响应质量。PsyCrisis-Bench基于真实的中文心理健康对话数据，包含608条用户话语，覆盖三种高风险心理危机类型。其创新性在于采用无参考评估方法，通过专家定义的推理链和LLM-as-Judge范式，实现对模型响应的多维度安全评估。该数据集为心理健康领域LLM的安全性和可靠性研究提供了重要资源。

当前挑战

PsyCrisis-Bench面临的挑战主要包括：1) 领域问题挑战：心理健康对话的高风险性和伦理敏感性使得评估标准难以统一，且缺乏黄金标准答案；2) 数据构建挑战：需从真实场景中筛选高质量的高风险对话数据，并进行精确分类和标注，同时确保用户隐私保护；3) 评估方法挑战：需设计可解释、可追溯的评估框架，以解决现有方法在评分 rationale 透明性方面的不足。此外，数据集的跨文化适用性和多轮对话评估的扩展也是未来需要解决的问题。

常用场景

经典使用场景

在心理健康对话领域，PsyCrisis-Bench数据集被广泛应用于评估大型语言模型（LLMs）在中文高风险心理危机对话中的安全对齐性。该数据集通过模拟真实心理咨询场景，提供用户表达自杀意念、自伤行为和存在性痛苦等高危情境的对话样本，成为研究LLMs在心理危机干预中表现的重要基准。其独特之处在于采用无参考评估范式，通过专家定义的推理链和二元评分体系，系统检验模型回应是否遵循心理学安全原则。

解决学术问题

该数据集有效解决了心理健康领域LLM评估的三个核心难题：首先，突破了传统评估对黄金标准答案的依赖，通过专家定义的推理链实现无参考评估；其次，建立了可解释的评估体系，采用二元维度评分增强判断的可追溯性；最后，填补了高风险心理危机场景的数据空白，提供608个涵盖自杀、自伤等极端心理状态的对话样本。这些创新使研究者能够更准确地衡量LLMs在敏感情境中的安全边界，为AI伦理研究提供了重要方法论支撑。

实际应用

在实际应用中，PsyCrisis-Bench被整合到心理健康聊天机器人的开发流程中，用于检测模型在危机干预中的潜在风险。临床研究团队利用该数据集验证对话系统是否具备识别自杀信号、提供恰当情绪调节策略的能力。互联网平台则将其作为安全审计工具，筛查用户生成内容中的高危心理信号。此外，该数据集支持的心理危机响应评估框架已被部分医院纳入数字疗法设备的准入评估体系。

数据集最近研究

最新研究方向

在心理健康对话领域，PsyCrisis-Bench数据集的最新研究方向聚焦于利用LLM-as-Judge范式评估大型语言模型在中文高风险心理危机对话中的安全对齐性。该研究突破了传统依赖黄金答案的评估局限，通过专家定义的心理学干预原则构建推理链，实现了无参考场景下的可解释性评估。当前前沿探索包括：基于真实世界在线话语构建的自杀意念、非自杀性自伤和存在性痛苦等高危场景语料库的精细化标注；结合链式思维提示技术，开发多维度二元点状评分系统以增强评估的透明度和可追溯性。这一方向与全球AI伦理治理热点相呼应，为心理危机干预中LLM的可靠性验证提供了标准化工具，其意义在于填补了中文心理安全评估基准的空白，并为临床级AI辅助系统的开发奠定了方法论基础。

相关研究论文

• Exploring Safety Alignment Evaluation of LLMs in Chinese Mental Health Dialogues via LLM-as-Judge

  香港科技大学（广州）, 武汉大学, 爱荷华大学, 曼彻斯特大学 · 2025年