timaeus/lang5_probes

该数据集包含多个CSV文件，每个文件代表一个特定的探测任务。每个CSV文件包含`prompt`（提示）、`prompt_len`（提示长度）和`target`（目标）列。目标通常是0/1整数，除非另有说明。大多数数据集是平衡的（50/50）。数据集涵盖多个领域，包括历史人物性别判断（如“Margaret of Clisson”）、历史人物是否美国人、新闻标题是否关于奥巴马、科学问题答案是否正确、Reddit帖子是否短文本、行为是否合理、文本是否以“high school”结尾、电影评论情感分析、短信是否为垃圾邮件、美国地点是否属于洛杉矶时区、算术问题正确答案是否为A、新闻是否属于政治类、医学摘要是否关于消化系统疾病、推文是否表达悲伤情绪、代码是否为Python等。

The dataset consists of multiple CSV files, each representing a specific probe task. Each CSV file contains `prompt`, `prompt_len`, and `target` columns. Targets are typically 0/1 integers unless noted otherwise. Most datasets are balanced (50/50). The datasets cover various domains, including determining the gender of historical figures (e.g., Margaret of Clisson), whether a historical figure is American, whether a news headline is about Obama, whether a science questions answer is correct, whether a Reddit post is short, whether an action is justified, whether a text ends with the high school bigram, sentiment analysis of movie reviews, whether an SMS is spam, whether a US location is in the Los Angeles timezone, whether the correct answer to an arithmetic question is A, whether a news article is about politics, whether a medical abstract is about digestive system diseases, whether a tweet expresses sadness, and whether a code snippet is in Python.

搜集汇总

数据集介绍

构建方式

该数据集汇集了15个源自不同领域的探针任务，每个任务均以CSV格式存储，包含'prompt'（提示文本）、'prompt_len'（文本长度）及'target'（二元标签）三列。数据构建过程中，所有类别均经过平衡处理，确保正负样本比例为50/50。文本来源涵盖历史人物姓名、新闻标题、科学问答对、长篇幅故事、司法判断描述、电影评论、短信、算术选择题、新闻正文、医学摘要、社交媒体情绪表达及代码片段等。部分数据经过预处理，如将原始布尔标签转换为整数0/1，并剔除超出长度限制的异常值以保证数据质量。

使用方法

该数据集专为语言模型探针分析设计，可直接用于评估模型内部神经元对不同概念的编码能力。研究人员应加载各任务的CSV文件，提取'prompt'列作为模型输入，并将'target'列作为监督信号训练线性探针分类器。使用时需注意不同任务的文本格式差异，例如科学问答对需处理换行符分隔的问题与答案，算术题则包含预置的'Answer: A'引导文本。对于代码语言识别任务，建议过滤超过25,000字符的过长片段以消除自动生成文件或C语言头文件的干扰。每个探针的平衡设计确保了评估指标的统计可靠性，是进行激活空间分析、特征归因与模型诊断的理想工具。

背景与挑战

背景概述

lang5_probes数据集由研究机构于近年创建，旨在系统性地评估大语言模型在多维度认知任务中的表征能力。该数据集包含15个精心设计的二元分类探针任务，覆盖历史人物属性判断（如性别、国籍）、新闻主题识别、科学知识验证、文本长度分类、道德推理、情感分析、垃圾信息检测、时区推断、算术推理、新闻分类、疾病分类、情绪识别及编程语言识别等丰富场景。每个任务均采用均衡的正负样本比例（约50/50），有效避免了类别不平衡带来的偏差。该数据集的独特价值在于其通过标准化探针任务，为理解神经网络内部表征提供了可量化的实验平台，在语言模型可解释性研究领域产生了重要影响。

当前挑战

该数据集所解决的核心领域挑战在于如何系统性地探测大语言模型内部是否编码了特定语义或结构特征，而非仅依赖最终输出表现。具体挑战包括：1）任务多样性带来的泛化性难题——需要设计涵盖历史、科学、伦理等多个领域的探测任务，以确保评估的全面性；2）探测任务间潜在干扰——如历史人物性别与国籍判断可能共享相同的特征空间，导致表征混淆；3）长文本处理的递归衰减问题——如'cm_isshort'任务中提示平均长度达981字符，需确保模型能稳定捕捉全局信息；4）构建过程中的平衡采样挑战——确保每个任务均有足够且均衡的标注样本（如'disease_class_digestive system diseases'仅有1,052条），同时避免提示模板对模型产生额外偏见。

常用场景

经典使用场景

lang5_probes数据集汇聚了15个精心设计的二分类探测任务，涵盖历史人物属性、新闻主题、情感分析、代码语言识别、时区判断、算术推理和医学疾病分类等多维语义场景。每个子集均保持严格的类别平衡，以简洁的提示文本和二元标签形式呈现，旨在评估语言模型在细粒度概念上的表征能力。该数据集最经典的使用场景是作为语言模型内部神经探针的评测基准，研究者通过分析模型在无需微调时对各类属性的预测正确率，揭示其隐含知识的结构化程度。例如，hist_fig_ismale子集检验模型对历史人物性别的隐含认知，而arith_mc_A则考察模型在算术选择中的推理偏向，从而系统性地探测模型在事实性、逻辑性与社会性维度上的敏感度。

解决学术问题

该数据集的构建旨在解决语言模型可解释性研究中缺乏标准化、多样化探测基准的困境。传统探针任务常局限于单一领域或简单句式，难以全面刻画模型内部表征的丰富性。lang5_probes通过覆盖非对称属性（如国籍、时间区）、主观判断（如正当性、情绪）、代码与文本的跨模态差异等复杂语义，为探究模型如何在隐空间编码抽象知识提供了多维诊断工具。其意义在于推动了对模型“暗知识”的量化理解，例如揭示模型在未显式训练的任务上是否具备泛化能力、是否存在偏见，以及不同语言层次（词法、句法、语义）的激活模式差异，从而为构建更透明、可控的语言智能系统奠定实证基础。

实际应用

在实际应用中，lang5_probes可服务于多个前沿领域。在内容审核场景中，spam_is和news_class_Politics子集可辅助开发轻量级文本分类器，用于即时过滤垃圾信息或政治敏感内容。在医疗信息处理领域，disease_class_digestive system diseases通过模拟文献摘要分类，训练模型辅助精准医学知识检索。教育科技方面，sciq_tf可用于评估生成式问答系统的可靠性检测，而high-school子集则能检验模型对特定文本模式的敏感性，适用于语言模型的知识边界测试。此外，twt_emotion_sadness和glue_sst2可为社交平台的情感分析工具提供基准数据，帮助企业监测用户情绪波动，优化舆情预警机制。

数据集最近研究

最新研究方向

当前，lang5_probes数据集被广泛用于探索大语言模型内部表征的可解释性与因果机制。研究人员利用其中涵盖历史人物性别与国家属性、新闻头条主题、科学问答正确性、文本长度判别、道德判断、情感分析、垃圾短信识别、时空推理、算术选项偏向、新闻分类、疾病分类、情绪识别及编程语言分类等多元化探针任务，系统性地剖析模型在不同抽象层次知识上的神经元激活模式与概念编码方式。尤其结合可解释性前沿，该数据集支持对模型在事实性知识、逻辑推理、价值判断及领域专长等维度的内部计算路径进行逆向工程，为揭示语言模型的黑箱决策过程、提升其透明性与可靠性提供了关键实验基准，在模型审计与安全对齐研究中具有显著学术价值。