六脉神剑

Strata-Sword 是阿里巴巴 AAIG 团队提出的一种多级安全评测基准，旨在更全面地评估模型在面对不同思考复杂度下的安全能力，帮助模型开发者更好地理解不同模型的安全边界。评测集包括中文三级评测和英文三级评测，故别名为“六脉神剑”。

Strata-Sword is a multi-level safety evaluation benchmark proposed by the AAIG team of Alibaba Group. It aims to comprehensively evaluate the safety capabilities of models across different levels of thinking complexity, helping model developers better understand the safety boundaries of various models. The benchmark includes three-level evaluations in both Chinese and English, hence it is nicknamed "Six Meridians Divine Sword".

搜集汇总

背景与挑战

背景概述

Strata-Sword是由Alibaba-AAIG团队提出的一个分层安全评估基准，旨在基于越狱指令的推理复杂度来全面评估大语言模型的安全能力。它包含700个指令，并将攻击方法按复杂度分为三个层次，同时针对中英文语言特性定制了特定攻击方式。