heretic-org/Semantic-Harmful

该数据集包含来自两个源数据集（mlabonne/harmful_behaviors和mlabonne/harmless_alpaca）的提示之间的一对一语义匹配，其中一个提示是有害的，另一个是无害的。通过语义对齐，这些匹配对旨在减少噪声，以便更精确地比较有害和无害提示，用于安全研究、拒绝分析、激活差异研究等。数据集构建方法包括加载源数据、使用嵌入模型生成文本嵌入、归一化、计算语义相似度、匹配和阈值过滤。数据集包含元数据，如匹配对、相似度分数和原始索引，文件格式为CSV、JSON或TXT。This dataset contains one-to-one semantic matches between prompts from two source datasets: mlabonne/harmful_behaviors and mlabonne/harmless_alpaca, where one prompt is harmful and the other is harmless. The goal is to align prompts that are semantically closest to create a more controlled comparison set for safety research, refusal analysis, and activation-difference studies. It reduces noise by pairing harmful and harmless prompts that are semantically close, focusing the comparison. The construction pipeline involves loading source datasets, creating text embeddings with an embedding model, normalizing embeddings, computing semantic similarity, matching prompts, and threshold filtering. The dataset includes metadata such as matched pairs, similarity scores, and original indices, available in CSV, JSON, or TXT formats.

搜集汇总

数据集介绍

构建方式

该数据集源于对两个公开数据集的语义对齐重构，分别选自mlabonne/harmful_behaviors中的有害提示与mlabonne/harmless_alpaca中的无害提示。构建过程首先利用google/embeddinggemma-300m模型对两组提示文本分别生成嵌入向量，并进行归一化处理以消除向量长度对相似度的影响。随后计算有害与无害提示之间的余弦相似度，采用匈牙利算法进行一对一最优匹配，确保每个有害提示至多与一个无害提示配对，反之亦然。最后设定相似度阈值为0.6，舍弃低于该阈值的低质量配对，从而产出416组语义高度相近的有害—无害提示对，为后续安全研究提供更为纯净的对比样本。

特点

Semantic-Harmful数据集的显著特征在于其构建了语义紧密对齐的有害与无害提示对，使两者在主题、意图和词汇结构上高度一致，从而显著降低因话题漂移或词汇不匹配导致的激活噪声。该数据集包含416组配对样本，每对均附有基于嵌入模型的相似度评分及原始索引，便于研究者追溯与验证。相似度分布直方图显示大部分配对得分高于0.6，保证了语义对齐的严密性。此外，该数据集专为拒绝方向提取、安全基准测试及消融实验等场景设计，可用于更精确地评估模型对有害指令的拒绝行为。

使用方法

该数据集适用于基于激活差异的安全研究管线，尤其可与Heretic工具集成使用。用户可通过Heretic命令行指定本数据集作为有害提示源，并配合其对应的无害版本数据集，自动加载train划分中的text列进行前400个样本的对比分析。在编程使用中，可直接加载metadata目录下的matched_pairs.csv或matched_pairs.json文件，获取包含harmful、harmless、score等字段的配对信息。研究者亦可直接读取HuggingFace数据集接口，通过指定split和column灵活选取所需样本，用于计算拒绝方向激活、进行配对对比实验或构建安全微调基准集。

背景与挑战

背景概述

Semantic-Harmful数据集由Vinay Umrethe及其所在的研究团队于2025年开发，旨在解决大语言模型安全研究中语义对齐噪声问题。通过从mlabonne/harmful_behaviors和mlabonne/harmless_alpaca两个源数据集中提取提示词，该数据集利用嵌入模型对语义最相近的有害与无害提示进行一一配对，创建了一种更可控的比较基准。该工作源于heretic项目中对拒绝方向激活差异分析的需求，通过降低主题漂移和词汇不匹配带来的干扰，提升了安全相关分析与干预实验的精确度。作为精细化安全评估资源，Semantic-Harmful为多模态语言模型的安全对齐、拒绝行为研究和激活差分析提供了高质量的支撑，推动了语言模型安全领域的方法论进步。

当前挑战

Semantic-Harmful数据集主要应对两大挑战。首先，在领域问题层面，大语言模型安全研究面临评估基准不精确的困境：传统方法简单对比有害与无害提示集时，因提示在主题和结构上差异显著，导致模型激活差异中包含大量与拒绝无关的噪声，掩盖了真实的安全相关激活信号。其次，在构建过程中，数据配对面临语义对齐精度的挑战，需从25552条无害提示中为416条有害提示寻找语义最接近且无害的匹配，涉及高维嵌入的相似度计算，同时需设置阈值过滤低质量配对；此外，确保配对过程不重复并维持语义紧密度，也是技术实现上的关键难点。

常用场景

经典使用场景

在大型语言模型的安全性与对齐研究中，Semantic-Harmful数据集被广泛用于评估和优化模型的拒绝行为。其核心价值在于提供了一组经语义匹配的有害-无害提示对，确保两个提示在主题、结构和词汇上高度相似，唯一差异在于是否包含有害意图。研究者利用该数据集计算激活差异，从而更精确地提取与拒绝行为相关的方向向量，排除因话题漂移或词汇不匹配引入的噪声。该数据集已成为安全对齐实验中构造可控对照组的经典工具，尤其在基于表示工程的方法中，用于分离模型对有害内容的内部表征。

实际应用

实际应用中，该数据集被集成到Heretic等表示工程工具链中，用于动态提取和操控语言模型的拒绝方向。开发者可以利用配对提示计算激活差异，进而实现对模型安全行为的细粒度调控，例如在推理时增强或减弱对特定类型有害输入的拒绝倾向。此外，该数据集还服务于安全基准测试，帮助识别模型在面对语义相近但意图截然不同的提示时的行为差异，从而发现潜在的对抗性漏洞。它在红队测试、模型审计以及安全策略制定中发挥着重要作用，为构建更可靠的人机交互系统提供了数据支撑。

衍生相关工作

Semantic-Harmful数据集的发布催生了一系列相关研究工作。一方面，研究者基于其配对设计理念，扩展了更多语言和领域的语义对齐有害-无害数据集，如多语言安全基准和视觉语言模型安全评估集。另一方面，该数据集启发了新的表示工程算法，例如利用配对数据的激活差异训练安全导向的线性探针，或在模型微调过程中作为正则化项减少拒绝方向偏移。此外，它还被用于验证和比较不同嵌入模型在语义匹配任务上的效果，推动了基于嵌入的质量评估方法的发展，形成了围绕语义对齐安全研究的数据与方法论体系。