schiekiera/llm-association-geometry

该数据集名为“LLM行为关联数据集”，包含了八种指令调优的大型语言模型（LLM）生成的关联行为数据。数据收集基于两种经典的心理语言学范式：强制选择（FC）和自由联想（FA）。强制选择范式要求模型在给定提示词和16个候选词中选择两个最相关的选项；自由联想范式要求模型在给定提示词后生成五个关联词。数据集支持行为衍生语义几何学（如计数矩阵→PPMI→余弦相似度）的分析，并与隐藏状态相似性几何学（如RSA、邻域重叠）进行比较。数据集以Parquet格式提供，包含多个子集（配置），每个子集对应一个模型和范式。数据集的总大小在10M到100M之间，具体包括强制选择范式的1,565,000次试验（总计约12.52M次试验）和自由联想范式的630,000个提示词（总计约5.04M个提示词）。

This dataset, named LLM Behavioral Association Dataset, contains model-generated association behavior from eight instruction-tuned large language models (LLMs), collected under two classic psycholinguistic paradigms: Forced Choice (FC) and Free Association (FA). The Forced Choice paradigm requires the model to select the two most related options from a given cue word and a set of 16 candidates. The Free Association paradigm requires the model to generate five associated words given a cue word. The dataset supports analyses of behavior-derived semantic geometry (e.g., count matrices → PPMI → cosine similarity) and comparisons to hidden-state similarity geometry (e.g., RSA, neighborhood overlap). The dataset is provided in Parquet format and includes multiple subsets (configs), each corresponding to a specific model and paradigm. The total size of the dataset ranges between 10M and 100M, specifically including 1,565,000 trials per model for Forced Choice (≈12.52M trials total) and 630,000 cues per model for Free Association (≈5.04M cues total).

搜集汇总

数据集介绍

构建方式

该数据集旨在捕捉大型语言模型在经典心理语言学范式下的联想行为，通过两种实验设计系统性地收集了八款指令微调模型的输出。在强制选择范式中，每个试次向模型呈现一个线索词与包含十六个候选项的集合，要求模型从中选出两个最相关的词语。自由联想范式则直接要求模型针对每个线索词生成五个关联词语。所有原始输出均经过解析、归一化与后处理，剔除候选项集之外的无效回答，最终以Parquet格式存储，确保数据的高效存取与标准化管理。

特点

数据集覆盖Falcon3、Gemma、Llama、Mistral、Phi、Qwen及rnj等主流指令微调模型，规模达到近千万级别的行为试次。其中强制选择部分包含约1252万次判断，自由联想部分包含约504万个线索词及其生成的超过3000万个关联词。数据精细到每个试次或每个关联的序位信息，为探究模型语义空间的行为几何结构提供了丰富的素材，可支撑从行为矩阵到潜在语义空间的映射分析。

使用方法

通过Hugging Face Datasets库，用户可依据范式与模型选择特定子集加载，例如`forced_choice__Llama-3.1-8B-Instruct`。亦可利用`data_files`参数合并同一范式下所有模型的Parquet文件，便于跨模型比较。直接使用pandas的`read_parquet`函数读取单文件同样便捷。推荐结合共现计数矩阵与PPMI加权方法计算行为余弦相似度，并与模型隐藏状态的相似度几何进行对比分析，用于表征行为与神经机制之间的关联。

背景与挑战

背景概述

随着大语言模型在认知任务中表现出的类人行为日益受到关注，如何量化模型内部的语义表征与人类认知结构之间的相似性成为可解释性研究的前沿问题。LLM Behavioral Association Dataset由柏林洪堡大学Louis Schiekiera团队创建，于2026年在ICML发表，旨在通过两种经典心理语言学范式——迫选关联与自由联想——捕捉八种指令微调模型的关联行为。该数据集涵盖Falcon、Gemma、Llama、Mistral、Phi、Qwen及RNJ等主流模型，包含超过1750万条试验数据，为比较模型行为语义几何与隐藏状态相似性几何提供了大规模基准。这一开创性资源将心理语言学的实验范式引入神经符号分析，有望推动模型内部表征的可解释性研究迈向语义空间对齐的新范式。

当前挑战

该数据集面临的核心挑战在于领域问题与构建过程的双重复杂性。领域层面，大语言模型的行为语义几何是否真实反映其内部表征尚存争议，现有分析方法如代表性相似性分析虽能揭示表面一致性，却难以区分模型是内在编码了人类般的关联结构，抑或仅模仿了训练语料中的统计模式。构建过程中，不同模型对相同提示的输出存在显著风格差异，例如自由联想范式下模型可能生成同义反复或语法碎片而非真实关联，迫使研究者设计精细的解析与标准化流程来剔除噪音。此外，跨模型比较受限于各自上游许可协议的碎片化约束，尤其在高月活用户场景下Qwen需申请单独授权，合规分发与复现逻辑因此增添了额外的行政成本。

常用场景

经典使用场景

在认知科学与人工智能的交叉领域，llm-association-geometry数据集为探究大语言模型内部语义表征与人类认知机制之间的异同提供了关键桥梁。该数据集基于经典心理语言学范式精心设计，包含强制选择与自由联想两种实验模式，系统采集了八种主流指令微调语言模型（如Llama-3.1、Gemma-2、Mistral等）在面对丰富语义线索时产出的联想行为数据。研究者可以利用这批浩繁的试次记录，从多模态行为视角切入，通过构建共现矩阵并计算PPMI与余弦相似度，从而精准刻画模型行为层面的语义几何结构。这一资源使得学界得以将语言模型的联想输出与人类受试者的经典联想数据加以对比，进而检验模型是否习得了类似于人类的语义关联模式。

解决学术问题

该数据集直面大语言模型可解释性研究中一个悬而未决的核心问题：模型的内部激活状态与外在行为表现之间究竟存在何种关联？长期以来，研究者多依赖隐藏层表征来分析语义几何结构，但外部行为数据的匮乏使得验证模型内部计算与外部输出之间的映射关系举步维艰。llm-association-geometry通过大规模的行为联想实验，提供了与隐藏状态分析遥相呼应的行为层语义几何数据，从而支持表征相似性分析与邻域重叠等比较研究。这一进展使得学界能够系统检验模型是否在不同范式下维持一致的语义组织方式，并深入探究模型内部的知识表征如何在不同行为任务中得以浮现。

衍生相关工作

围绕该数据集，已催生出多项具有标志性意义的衍生研究。以Schiekiera等人在ICML 2026发表的论文为代表，该工作首次系统比较了大语言模型在行为层面与隐藏状态层面的语义几何结构，开创性地将表征相似性分析框架拓展至行为-激活双重视域。研究者还在此基础上开发了用于评估模型内部语义一致性的标准化协议，并提出了基于联想行为数据预测模型隐藏层相似性的新方法。更值得关注的是，该数据集启发了对模型规模与任务间语义一致性之间关系的探讨，揭示出参数量的增长并不必然带来行为与内部表征的同步优化。这些研究成果共同推动了模型行为学这一新兴子领域的形成与发展。