llm-association-geometry

LLM行为关联数据集是一个专注于分析指令调优大型语言模型（LLMs）生成关联行为的数据集。该数据集基于两种经典心理语言学范式收集数据：强制选择（给定一个提示词和16个候选词，模型选择两个最相关的选项）和自由关联（给定一个提示词，模型生成五个关联词）。数据集包含八个不同LLM的生成结果，数据以Parquet格式提供，支持行为衍生语义几何分析（如计数矩阵→PPMI→余弦相似度）和隐藏状态相似性几何比较（如RSA、邻域重叠）。数据集规模包括强制选择部分的1,565,000次试验/模型（总计约12.52M次试验）和自由关联部分的630,000个提示词/模型（总计约5.04M提示词，每个提示词生成五个关联词）。数据集适用于心理学、行为学、认知科学、可解释性研究和网络分析等领域。

搜集汇总

数据集介绍

构建方式

在认知科学领域，探究语义关联的生成机制是理解语言模型内在表征的重要途径。本数据集通过模拟经典心理语言学范式，系统采集了八个指令调优大语言模型的行为关联数据。构建过程采用两种实验设计：强制选择范式要求模型从十六个候选词中选出与提示词最相关的两个选项；自由联想范式则引导模型针对给定提示词生成五个关联词汇。数据经过规范化处理，以Parquet格式存储，确保了实验条件的一致性与数据的可复现性。

特点

该数据集的核心特征在于其多模型比较框架与双重实验范式的结合。数据集涵盖了Falcon、Llama、Gemma等八个主流指令调优模型的行为输出，为跨模型语义表征研究提供了基准。数据规模庞大，强制选择部分包含约1252万次试验，自由联想部分涉及约504万条提示，形成了丰富的关联矩阵。数据结构设计科学，强制选择数据包含提取的规范化选项，自由联想数据则保留了关联词的位置信息，便于进行语义几何分析（如PPMI计算）与隐状态相似性比较。

使用方法

为便于研究使用，数据集在Hugging Face平台上以多个配置子集的形式组织，用户可根据特定模型和实验范式进行加载。通过`datasets`库，研究者可以指定配置名称（如`forced_choice__Llama-3.1-8B-Instruct`）加载单个模型的数据，或使用`data_files`参数批量加载所有模型文件进行分析。数据可直接用于构建词项关联矩阵、计算点互信息，进而开展表征相似性分析或邻域重叠比较，以深入探究语言模型行为输出与内部激活几何之间的关系。

背景与挑战

背景概述

在认知科学与计算语言学的交叉领域，理解语言模型的内在语义表征机制是核心研究议题。LLM Behavioral Association Dataset（llm-association-geometry）应运而生，由柏林洪堡大学的Louis Schiekiera等人创建，旨在系统探究指令微调大语言模型的联想行为模式。该数据集基于经典心理语言学范式，通过强制选择与自由联想任务，收集了包括Falcon、Llama、Gemma等八个前沿模型的生成数据，为分析模型行为衍生的语义几何结构及其与隐藏状态相似性的关联提供了实证基础。其构建深化了对语言模型认知架构的可解释性研究，推动了心理学理论与人工智能模型的深度融合。

当前挑战

该数据集致力于解决语言模型行为可解释性领域的核心挑战，即如何量化并比较不同模型在语义联想任务中表现出的内在认知结构。具体而言，研究需克服模型输出与人类联想数据之间的对齐难题，以及从海量行为数据中提取稳健几何表征的计算复杂性。在构建过程中，挑战主要体现在设计跨模型统一的实验范式以确保数据可比性，并处理各模型许可协议的异质性以合规发布生成内容。此外，对模型原始输出进行精确解析与归一化，以消除噪声并提取有效关联词，亦是一项关键的技术障碍。

常用场景

经典使用场景

在认知科学与计算语言学的交叉领域，llm-association-geometry数据集为探索大型语言模型的内在语义表征提供了关键资源。该数据集通过强制选择和自由联想两种经典心理语言学范式，系统收集了八个指令微调模型对词汇关联的行为响应。研究者能够利用这些数据构建行为衍生的语义几何结构，例如通过计算共现矩阵、正点互信息以及余弦相似度，从而深入剖析模型如何编码和关联概念。这种分析不仅揭示了模型内部的知识组织方式，也为比较不同架构或规模的模型提供了标准化基准。

解决学术问题

该数据集有效解决了人工智能可解释性研究中的核心挑战，即如何量化并理解语言模型所学习的语义关系。通过提供大规模、多模型的行为关联数据，它使得研究者能够系统检验模型语义空间与人类认知表征之间的对齐程度。这为探讨模型是否真正“理解”语言意义，而非仅进行模式匹配，提供了实证基础。其意义在于架起了认知心理学与机器学习之间的桥梁，推动了基于行为的模型评估方法学发展，并对构建更透明、更可靠的人工智能系统产生了深远影响。

衍生相关工作

围绕该数据集衍生的经典工作主要集中在模型语义几何的比较与分析上。研究者利用其中的行为数据，执行表征相似性分析或邻域重叠计算，以探究模型隐藏状态激活模式与外部行为输出之间的关联。这类研究催生了一系列关于模型内部知识组织、跨模型语义一致性以及行为可预测性的学术论文。这些工作深化了我们对语言模型作为认知系统模拟器的理解，并为构建更精细的模型解释性框架奠定了方法论基础。