thoughtworks/psychometric_SJTs

该数据集包含多个特征，如基础场景描述、年龄、模糊度等级、权威关系、伦理考量、性别、涉及个体、种族、情境类型、威胁等级、时间、紧急程度等。还包括关于诚实谦逊、情绪性、外向性、宜人性、尽责性和开放性的选项。训练集包含62个示例，数据集大小为304944字节，下载大小为138633字节。

The dataset includes various features such as base scenario description, age, ambiguity level, authority relationships, ethical considerations, gender, individuals involved, race, situation type, threat level, time of day, urgency level, and options for honesty-humility, emotionality, extraversion, agreeableness, conscientiousness, and openness. The training set contains 62 examples, with a dataset size of 304944 bytes and a download size of 138633 bytes.

搜集汇总

数据集介绍

构建方式

该数据集是一个大规模合成的情境判断测试（SJT）集合，旨在评估受控变量下的行为倾向与心理测量特质。构建过程始于心理学专家设计的20个核心基础场景，每个场景捕捉独特的行为或伦理困境。随后，基于HEXACO人格框架为每个场景构建答题选项，确保每个选项明确对应于诚实-谦逊、情绪性、外向性、宜人性、尽责性和经验开放性这六大特质维度之一。通过种子生成的方式对多个情境属性（如模糊程度、权力关系、时间压力等）进行系统采样，将变量注入基础场景，生成多样化但结构一致的SJT实例。最终，该方法产出4000个样本，并在不同属性组合间实现平衡，保证了数据集的可复现性与覆盖广度。

使用方法

该数据集主要面向对大型语言模型进行心理测量评估的研究场景。研究者可通过向模型呈现情境描述及其对应的多选项回答，记录模型的选择倾向，并依据HEXACO框架映射各选项对应的特质维度，从而推断模型在诚实-谦逊、情绪性、宜人性等维度的行为偏好。数据集支持两种主要评估路径：一是直接对比模型对原始SJT与修正后SJT的选择差异，以检测特质渗漏效应；二是利用场景配置中的受控属性变量（如性别、种族、紧迫程度等），系统性地评估模型在不同人口学或情境条件下的决策公平性与稳定性。建议结合论文中的评估指标与基线方法进行复现或扩展研究。

背景与挑战

背景概述

心理测量学在人工智能评估领域正扮演着愈发关键的角色，传统测评工具往往难以捕捉模型在复杂情境下的行为倾向与人格特质。在此背景下，由Alexandra Yost、Shreyans Jain等研究人员于2025年发布的psychometric_SJTs数据集应运而生，该数据集由Thoughtworks等机构参与构建，核心研究问题在于利用情境判断测验评估大型语言模型的HEXACO人格特质。数据集包含4000个从20个基础场景系统衍生的合成SJTs，通过引入模糊性、权威关系、时间压力等多维上下文属性扰动，为模型的心理测量评估提供了结构化基准。该工作发表在arXiv（2510.22170），其影响力在于推动了AI评估从任务性能向人格特质测量的范式延伸，为公平性与偏见分析奠定了数据基础。

当前挑战

该数据集所解决的领域挑战在于，传统心理测评难以量化AI模型在道德困境、权力动态等复杂情境中的行为反应，而现有基准缺乏对人格特质维度的精细化映射。构建过程中面临的挑战尤为突出：首先，需将20个基础场景与HEXACO六维度精准对齐，确保每个选项独立表征单一特质，避免特质渗透（trait bleed）；其次，属性采样需在可重复性与多样性间平衡，通过种子生成覆盖性别、种族等敏感变量，同时防止组合爆炸；最后，需对生成的SJT进行人工审核与修正，确保情境合理性及选项的判别效度，这一流程对专家资源与质量控制提出了高要求。

常用场景

经典使用场景

心理测量学与人工智能的交叉领域，为评估大型语言模型（LLMs）的心理测量特质提供了系统性工具。该数据集基于HEXACO人格框架（涵盖诚实-谦逊、情绪性、外向性、宜人性、尽责性和经验开放性六个维度），通过构建4,000个情境判断测验（SJTs），每个测验的选项均与特定人格维度对齐。研究者可利用该数据集评估LLMs在不同情境下的行为倾向，例如通过模型对情境的反应预测其HEXACO特质得分，从而在受控条件下量化AI的“人格”特征。其经典用法在于为AI的心理测量评估提供标准化基准，推动人机交互中伦理与偏好的可解释性研究。

解决学术问题

该数据集核心解决了AI行为评估中缺乏心理学理论支撑的难题。传统评估依赖任务正确率，忽略模型决策的潜在动机与人格特质差异。通过引入心理测量学的严谨范式，它允许研究者系统探索LLMs在模糊性、威胁等级、权威关系等受控属性下的行为可变性，从而揭示模型是否具备类似人类的稳定特质结构。这一方法显著推进了AI对齐领域的研究，使人们能更科学地评估LLMs的公平性、伦理偏好及其在不同人口统计学变量（如性别、种族）下的表现差异，为构建可信AI提供方法论基础。

实际应用

在实际应用中，psychometric_SJTs可嵌入AI系统的伦理审查与安全测试流程。例如，企业在部署客服机器人前，可使用该数据集模拟道德困境（如涉密信息处理或人际冲突调解），通过分析模型在HEXACO各维度上的倾向，识别潜在偏见或风险行为。此外，教育科技领域可利用它设计适应性学习环境，使AI导师根据学生情境反应调整教学策略。对于内容审核或组织行为分析平台，该数据集还能辅助预测AI在复杂社会场景中的决策路径，从而优化人机协作的可靠性与透明度。

数据集最近研究

最新研究方向

当前，psychometric_SJTs数据集正引领着人工智能心理测量学的前沿探索，尤其聚焦于大型语言模型（LLMs）的HEXACO人格特质评估与情境判断测试的深度融合。该数据集通过系统化操纵20个基础情境下的多维度属性（如模糊性、权威关系、道德考量等），生成了4000个合成SJT样本，为量化AI在复杂社会互动中的行为偏好提供了高保真平台。其核心创新在于将人格特质选项直接嵌入测试构架，使得模型应答能直接映射至诚实-谦逊、情绪性等六大维度，进而实现对AI伦理倾向与决策公平性的细粒度剖析。这一方向不仅突破了传统心理测量对AI黑箱的评估瓶颈，更在算法公平性讨论与负责任AI开发浪潮中，为基准测试与偏差矫正提供了实证基石，预示着下一代适应性智能系统将更具情境敏感性与伦理可信度。