thoughtworks/psychometric_sjts_analysis

该数据集包含情境判断测试（SJT）相关的数据，涵盖多个维度的特征，包括人格特质（如宜人性、尽责性、情绪性、外向性、诚实谦逊和开放性）、情境特征（如年龄、性别、种族、情境类型、威胁等级、时间等）以及对这些特质的评估和修正建议。数据集分为三种配置（debug、expanded、restricted），每种配置包含训练集，样本量分别为20、1000和500。数据集的结构复杂，包含多层嵌套的特征，主要用于评估和修正情境判断测试中的特质表现。This dataset contains data related to Situational Judgment Tests (SJT), covering multiple dimensions of features, including personality traits (such as agreeableness, conscientiousness, emotionality, extraversion, honesty-humility, and openness), situational features (such as age, gender, race, situation type, threat level, time of day, etc.), and evaluations and suggested corrections for these traits. The dataset is divided into three configurations (debug, expanded, restricted), each containing a training set with sample sizes of 20, 1000, and 500, respectively. The dataset has a complex structure with multi-level nested features and is primarily used for evaluating and correcting trait performance in situational judgment tests.

搜集汇总

数据集介绍

构建方式

情境判断测验（SJT）在人事选拔与心理测量领域占据重要地位，用以评估个体在复杂社会情境中的行为倾向与人格特质。psychometric_sjts_analysis数据集基于HEXACO人格模型框架构建，融合了多维度情境参数，涵盖年龄、性别、种族、权力关系、伦理考量及紧急程度等十余种情境变量。每个情境条目均设有对应六大人格维度的行为选项，并通过专家评估与AI模型（如Anthropic Claude、OpenAI）对情境中的人格特质“溢出效应”进行系统性标注，形成包含原始条目、修正条目及特质评估打分在内的多层次数据结构。

特点

该数据集的核心特色在于其精细化的情境标注体系与多模型交叉验证机制。每个样例不仅记录了情境配置与六维人格选项，还包含详尽的特质评估分析（如宜人性、尽责性、情绪性等）及修正建议，为探究SJT中人格特质干扰效应提供了丰富素材。数据集下设多个配置子集，包括专家标注版、不同AI模型生成版及对比版，覆盖300条训练样本与100条对比样本，同时提供情境嵌入向量，便于进行相似度分析与模型训练。

使用方法

研究者可通过HuggingFace Datasets库加载该数据集，指定配置名称（如analysis、anthropic_claude）获取对应子集。数据以结构化字典形式呈现，支持直接索引情境参数、原始选项及修正后的选项。对于需要进行人格特质溢出效应分析的研究，可重点利用trait_evaluations字段中的分析文本与评分数值，结合config中的情境变量开展量化分析。此外，sjt_embedding字段提供的浮点向量可用于情境聚类、嵌入可视化或作为下游人格预测模型的输入特征。

背景与挑战

背景概述

心理测量学情境判断测验（SJT）分析数据集（psychometric_sjts_analysis）由专注于人格评估与人工智能交叉领域的研究团队创建，旨在深入探索情境判断测验中特质泄漏（trait bleed）现象。该数据集基于HEXACO人格模型，涵盖宜人性、尽责性、情绪性、外向性、诚实-谦逊和开放性六大维度，通过系统化设计不同情境参数（如模糊性、威胁程度、紧急水平等）生成大量标准化测试条目。数据集不仅包含原始SJT题目，还提供了专家对特质泄漏问题的详细评估与修正建议，为人格测量工具的优化与AI辅助评估提供了重要资源。这一数据集在心理测量学与计算社会科学领域具有开创性意义，推动了对SJT结构效度的严谨探讨。

当前挑战

该数据集面临的核心挑战在于解决情境判断测验中普遍存在的特质泄漏问题，即单个条目无意间反映多种人格特质的现象，这严重威胁测量工具的结构效度与解释准确性。构建过程中，研究者需平衡情境的真实性与标准化，确保300个训练样本在12个情境参数（如年龄、性别、种族、权威关系等）的组合下具有统计学代表性，同时避免文化偏差与刻板印象的渗透。此外，对特质泄漏的人工标注与校正工作时耗巨大，需保证30个标注样本的评分者间信度；后续纳入的Claude与GPT模型生成的对比数据，又引入了机器评估与人类判断的一致性挑战，要求算法在保持严格性的同时具备认知灵活性。

常用场景

经典使用场景

在心理测量学与人工智能交叉领域，该数据集主要用于情境判断测验（SJT）的生成与评估。研究者借助其丰富的场景配置维度，如年龄、性别、种族、权威关系、威胁等级和紧迫程度等，系统性地构建模拟现实工作或社交情境的测试题目。该数据集将SJT与HEXACO人格模型深度融合，为每道题目提供宜人性、尽责性、情绪性、外向性、诚实-谦逊和开放性六种人格倾向的选项，并配备基于大语言模型的特质评估与修正标注，从而支持模型生成兼具心理测量学效度与情境真实性的测试内容。

解决学术问题

该数据集有效解决了心理测量领域中情境判断测验编制过程中的两大核心难题：一是如何系统化、自动化生成高质量且具有心理测量学结构效度的SJT题目，二是如何消解题目设计中的“特质渗漏”问题——即评估某一人格特质时意外混杂其他特质的影响。通过提供多维度精细化的场景配置和大语言模型的交叉验证与分析，数据集为构建更纯净、更精准的特质测量工具提供了方法论支撑，推动了SJT在人岗匹配、领导力评估和临床心理学等研究领域的应用向更高信效度迈进。

衍生相关工作

围绕该数据集已衍生出一系列推动心理测量学与计算社会科学融合的经典工作。其中，基于大语言模型的SJT自动生成与人格特质评估体系是该方向的核心突破，研究者利用数据集的精细标注训练模型识别并修正题目中的特质渗漏。此外，不同大语言模型（如Anthropic Claude与OpenAI模型）在SJT生成与评估上的比较分析工作，揭示了当前前沿模型在理解复杂社会规范与人格维度上的能力差异，为人机协作的心理测量工具开发提供了基础性基准。