CPsyExam

CPsyExam是一个针对心理学评估的中文基准数据集，由深圳高性能数据挖掘重点实验室等机构创建。该数据集包含20,000个心理学考试题目，旨在评估大型语言模型在心理学知识和案例分析方面的能力。数据集内容涵盖多种心理学领域，如教育心理学、临床心理学等，并通过多样的题型（如多选题、问答题）来全面测试模型的理解和应用能力。CPsyExam的创建过程涉及从公开资源中收集数据，并采用专家审核确保数据质量。该数据集主要用于评估和提升大型语言模型在心理学领域的应用，特别是在心理咨询和教育支持方面的实际应用。

CPsyExam is a Chinese benchmark dataset for psychological assessment, developed by institutions including Shenzhen Key Laboratory of High Performance Data Mining and other relevant organizations. It contains 20,000 psychology exam questions, designed to evaluate the capabilities of large language models (LLMs) in terms of psychological knowledge mastery and case analysis. The dataset covers multiple subfields of psychology, such as educational psychology and clinical psychology, and utilizes diverse question formats including multiple-choice questions and open-ended questions to comprehensively assess the model's comprehension and application abilities. The development of CPsyExam involves collecting data from public resources and conducting expert reviews to ensure data quality. This dataset is primarily used to evaluate and improve the application of large language models in the field of psychology, especially their practical implementations in psychological counseling and educational support.

搜集汇总

数据集介绍

构建方式

CPsyExam的构建源于对中国心理学考试体系内真实试题的系统性采集。研究团队首先梳理了心理咨询师、教师资格、研究生入学及自学考试等四类考试，覆盖39个心理学相关科目，并通过网络爬虫与人工OCR技术从公开网站与书籍中获取超过22,000道原始题目。随后，经过格式标准化、去重、剔除含图片题目及人工语法校验等精细处理，最终精选出约4,000道题构成基准测试集，按题型分为单选题、多选题与问答题，并依据内容性质划分为知识型与案例分析型两大模块。

特点

该数据集的核心特点在于其双重评估架构——知识部分与案例分析部分互补，精准衡量大语言模型对心理学理论的掌握程度及在真实咨询场景中的应用能力。知识部分涵盖从基础心理学到教育测量等广泛学科，确保评估的广度与平衡性；案例分析部分则聚焦方法、诊断与治疗三类临床技能，通过真实案例考察模型的推理与决策水平。此外，数据源自专家手工编制的试题，而非自动生成，保障了题目内容的高度专业性与权威性。

使用方法

CPsyExam支持零样本与少样本两种评估范式，适用于开放权重模型与API模型的能力对比。研究者可利用其提供的训练集进行监督微调，以提升模型在心理学领域的表现。评估时，针对多选题与问答题采用不同的提示策略，并借助GPT-4对生成式回答进行评分。数据集的测试集与保留集分开，保留集不公开，用以防范数据泄露风险，确保未来评估的可靠性与公正性。

背景与挑战

背景概述

随着大规模语言模型在心理咨询与心理健康支持领域的广泛应用，对其心理学知识掌握程度的评估成为亟待解决的关键问题。然而，现有中文评测基准如CMMLU和CEVAL对心理学领域的覆盖严重不足，而PsyBench和PsyEval等新兴基准或因题目由模型自动生成而缺乏权威性，或因规模有限而难以全面衡量模型能力。在此背景下，中国科学院深圳先进技术研究院等机构的研究人员于2024年构建了CPsyExam基准，该数据集从中国心理学考试体系中精心筛选出约2.2万道题目，涵盖心理咨询师、教师资格、研究生入学及自学考试四大类别，并创新性地将评估划分为知识掌握与案例分析两个维度，旨在系统性地评测语言模型在心理学领域的专业素养与实际应用能力。

当前挑战

CPsyExam所面临的挑战主要体现在两个层面。在领域问题层面，心理学评估不仅要求模型记忆事实性知识，更需具备对复杂案例进行诊断、方法选择与治疗规划的能力，这种从知识到应用的跨越对语言模型的推理与泛化能力提出了极高要求。在构建过程中，数据来源包括网站与书籍，需通过爬虫、OCR及人工校验等多重手段进行结构化处理，并克服图像链接、格式不一致及重复题目等噪声问题；同时，为平衡各学科与考题类型（单选、多选、问答）的分布，研究者设计了精细的分层采样策略，确保评估的全面性与公正性，但这也增加了数据预处理与标注的复杂度。

常用场景

经典使用场景

在心理学与人工智能交叉领域，CPsyExam被广泛用于评估大语言模型对心理学知识的掌握程度与案例分析能力。该数据集涵盖心理咨询师、教师资格、研究生入学及自学考试等中国心理学教育体系中的核心科目，包含知识型与案例型两种题型，通过多选题、多选及问答形式，系统性地检验模型在心理学理论、诊断、治疗等维度的表现。研究者常将其作为基准，对比不同规模与架构的模型在专业领域上的差异，以揭示模型在心理知识理解上的优势与不足。

实际应用

在实际应用中，CPsyExam被用于筛选和优化面向心理健康领域的大语言模型，例如心理咨询聊天机器人或心理教育辅助系统。通过该基准的评估，开发者可以识别模型在诊断准确性、治疗建议合理性等方面的短板，从而针对性地进行微调或知识增强。此外，该数据集还被用于心理咨询师培训系统的质量检验，确保AI辅助工具能够提供符合专业标准的心理支持，在临床辅助、在线心理教育及自助式心理健康干预等场景中发挥可靠作用。

衍生相关工作

CPsyExam的发布催生了一系列后续研究工作，包括基于其训练集构建的监督微调数据集，用于提升模型在心理学问答和案例分析任务上的表现。研究者还借鉴其分层评估框架，开发了针对特定心理疾病诊断或治疗策略的专项测试集。此外，该基准与PsyBench、PsyEval等同期工作共同推动了心理学评估体系的发展，促进了跨模型、跨语言的心理知识对比研究，并启发了将中国心理学考试体系与北美EPPP等国际标准进行比较的分析工作。