LEGEND

LEGEND数据集是由四川大学和北京人工智能研究院共同开发的，专注于增强偏好数据集的边界标注，以提高奖励模型在区分微妙安全差异方面的性能。该数据集通过利用表示工程在大型语言模型（LLM）的嵌入空间内构建特定的安全方向，从而自动标注偏好边界。LEGEND数据集的应用领域主要集中在提升LLM的安全对话能力，解决奖励模型在安全对齐中的精确度问题。创建过程中，LEGEND通过发现安全向量和边界标注两个步骤，利用LLM生成的有害和无害响应的嵌入差异来构建标准边界向量（SMV），进而通过SMV测量配对响应之间的安全距离，实现边界标注。The LEGEND dataset was co-developed by Sichuan University and Beijing Institute for AI, focusing on enhancing boundary annotation for preference datasets to improve the performance of reward models in distinguishing subtle safety discrepancies. This dataset constructs specific safety orientations within the embedding space of Large Language Models (LLMs) via representation engineering, thereby enabling automatic annotation of preference boundaries. The application scenarios of the LEGEND dataset primarily focus on enhancing the safety dialogue capabilities of LLMs and addressing the accuracy challenges of reward models in safety alignment. During its development, LEGEND follows two core steps: safety vector discovery and boundary annotation. It first constructs Standard Margin Vector (SMV) by leveraging the embedding differences between harmful and harmless responses generated by LLMs, then measures the safety distance between paired responses using SMV to complete the boundary annotation.

搜集汇总

数据集介绍

构建方式

在大型语言模型的安全对齐领域，偏好数据集的精细度直接影响奖励模型的性能。LEGEND数据集基于表示工程中的线性表示假设构建，通过两步流程实现自动化安全边际标注。首先，利用无安全护栏的注释器语言模型对有害问题生成有害与无害响应，并提取其嵌入表示，计算两者差异向量的均值并归一化，得到代表安全方向的标准边际向量。其次，将目标偏好数据中配对响应的嵌入差异投影至该安全方向，获得连续边际值，再通过等频分箱操作将其离散化为多个等级，从而完成标注。整个过程无需额外模型训练，仅依赖推理时间。

使用方法

该数据集可直接用于训练偏好模型或奖励模型，以提升其区分无害与有害响应的能力。使用时，将LEGEND标注的安全边际作为额外监督信号融入传统对比损失函数中，例如在奖励模型训练时引入边际项，鼓励模型更精确地编码安全语义。此外，该数据集也适用于下游的无害对齐任务，如通过最佳采样策略结合奖励模型筛选无害响应。用户可根据需求调整分箱数量以适配不同规模的奖励模型——较小模型适合较少分箱，较大模型则可利用更多分箱实现精细判别。

背景与挑战

背景概述

在大型语言模型的安全对齐研究中，偏好数据集的质量直接决定了奖励模型区分细微安全差异的能力。然而，传统的三元组偏好数据（指令、无害响应、有害响应）仅能提供相对无害性的排序，却无法量化响应之间安全程度的差异，这一局限性严重制约了奖励模型的精确建模。为突破这一瓶颈，四川大学与北京人工智能研究院的研究人员于2024年联合提出了LEGEND框架，该框架创新性地引入表征工程技术，通过在大语言模型的嵌入空间中构建安全方向向量，自动为偏好数据集标注安全边际。这一方法不仅显著降低了人工标注的高昂成本，更通过量化响应间的安全语义距离，为提升奖励模型的判别精度和下游无害对齐效果提供了全新路径，对推动安全、可靠的语言模型发展具有重要理论价值与实践意义。

当前挑战

LEGEND框架面临的核心挑战在于如何精准分离嵌入向量中表征安全的特定方向，使其从复杂语义特征的混合中独立出来。这一挑战源于线性表征假设在实际场景中的局限性——当响应间安全边际相似时，连续投影值易引入噪声，导致边际标注不可靠。为此，研究者采用等频分箱操作将连续值离散化，通过减少相似幅度比较来增强鲁棒性。此外，构建过程中还需应对标注成本与效率的平衡难题：传统方法依赖训练多个奖励模型来获取边际，计算开销巨大；而LEGEND虽仅需推理时间，但其有效性高度依赖于“标注器大语言模型”区分无害与有害内容的能力，若该模型判别力不足，将导致安全边际分布过于集中，削弱标注的区分度与下游任务性能。

常用场景

经典使用场景

在大型语言模型的安全对齐研究中，LEGEND数据集主要用于训练和评估奖励模型，使其能够精确区分无害与有害响应之间的细微语义差异。通过引入偏好边际（preference margin）这一量化指标，该数据集为奖励模型提供了超越传统二元比较的细粒度监督信号，从而显著提升模型在安全场景下的判别能力。研究者通常利用该数据集训练基于人类偏好的奖励模型，并评估其在选择无害响应时的准确率，为后续的强化学习对齐提供可靠的奖励信号基础。

解决学术问题

LEGEND数据集的核心贡献在于解决了偏好数据集中边际标注缺失导致的奖励模型精度瓶颈问题。传统三元组（指令、无害响应、有害响应）仅能表达相对无害性，却无法量化响应间的安全差异程度，这限制了奖励模型对细微安全语义的捕捉能力。LEGEND通过表示工程（Representation Engineering）自动标注安全边际，首次实现了无需人工干预的边际量化，使奖励模型能够学习到更精确的偏好排序。实验表明，该数据集使奖励模型在安全响应选择上的准确率提升约2%，下游对齐任务中的胜率提升约10%，为构建更可靠的安全对齐系统奠定了数据基础。

实际应用

在实际部署中，LEGEND数据集可广泛应用于需要严格安全约束的对话系统，如医疗咨询、法律助手和儿童教育等场景。通过训练更精准的奖励模型，企业能够在大规模语言模型上线前进行高效的安全过滤，显著降低有害内容生成风险。此外，该数据集的自动标注框架使得安全边际的生成无需额外训练成本，仅需推理时间即可完成，这为资源受限的中小型团队提供了低成本、高效益的安全对齐解决方案，推动了安全AI技术的普惠化应用。

数据集最近研究

最新研究方向

在大语言模型安全对齐领域，偏好数据集的精细度直接决定了奖励模型的判别能力。当前研究前沿聚焦于如何自动量化响应间安全性的细微差异，LEGEND框架应运而生，它创新性地利用表示工程中的线性表示特性，从LLM嵌入空间中提取安全方向向量，通过计算配对响应沿该方向的语义距离，自动生成安全边际标注。这一方法不仅避免了高昂的人工标注成本，更无需额外训练模型，仅需推理时间即可完成。实验表明，LEGEND在Harmless和Safe-RLHF等基准数据集上显著提升了奖励模型区分无害响应的准确率，并使下游策略模型的无害对齐胜率提高约10%，为构建更安全、更可靠的对话系统提供了高效且可扩展的解决方案，推动了偏好数据集从二元比较向连续量化评估的范式转变。

相关研究论文

• Legend: Leveraging Representation Engineering to Annotate Safety Margin for Preference Datasets

  四川大学和北京人工智能研究院 · 2024年