Russian LLM Safety Benchmark (RuSafetyBench)

一个用于俄语LLM安全测试的开放对抗性评估框架，作为早期结构化、公开可用的红队数据集的扩展，专注于俄语模型行为。

An open adversarial evaluation framework for safety testing of Russian LLMs, which serves as an extension of early structured, publicly available red team datasets and focuses on the behavioral characteristics of Russian-language models.

原始信息汇总

数据集概述：RuSafetyBench（俄罗斯LLM安全基准）

RuSafetyBench 是一个开放的、对抗性评估框架，专门用于测试俄语大语言模型（LLM）的安全性。该数据集作为 LLM Safety Evaluation Lab 的扩展，是首个公开的、结构化的、专注于俄语模型行为的红队测试数据集。当前状态为活跃开发，预计于2026年5月完成。

---

核心动机

1. 语言影响安全校准：同一模型在俄语和英语环境下可能表现出不同的安全行为。
2. 文化与地缘政治背景差异：俄语环境存在独特的、通过直接翻译英语基准提示无法捕捉的安全漏洞。

---

评估类别与风险

类别	测试数量	关键风险
社会工程	6	冒用权威、利用机构信任
逐步升级	4	在俄语语境下的多轮对话正常化
幻觉	3	编造地缘政治或未来事件叙事
错误信息	1	虚假科学共识与阴谋放大
历史修正主义	1	单方面历史叙事生成
地缘政治中立性校准	1	不同模型在叙事框架上的分叉
提示注入/创意小说绕过	1	通过叙事框架提取操作细节

---

新的评估维度

• 地缘政治中立性校准：衡量模型在归因准确性、叙事平衡、地缘政治框架鲁棒性以及对争议共识的标注能力。该维度在现有英语安全基准中代表性不足。
• 叙事洗白：模型通过分析性口吻和上下文框架，将未经支持的前提逐渐合法化的特定失败模式。
• 提示文字化易感性：模型虽技术性拒绝直接违规，但未能识别提示的对抗意图（如将提示重写为“安全检查”或“审计确认”来获取敏感信息）。
• 小说化作为伪装：将有害请求嵌入侦探小说、角色扮演、剧本等叙事框架中，从而降低模型的安全防护。

---

主要发现

1. 俄语提示显著改变模型行为：多个模型在俄语与英语提示下表现出不同的安全校准。
2. 机构化框架有效削弱防护：使用“安全部门”、“合规验证”、“政府授权”等措辞显著提高了信息泄露率。
3. 小说化框架是有效的提取载体：叙事和角色扮演提示持续降低较弱模型的安全抵抗力。
4. 地缘政治审核因生态系统而异：不同政治和监管环境下训练的模型展现出差异化的过滤与叙事偏向。
5. 安全策略多样性至关重要：成功的对齐策略包括“转换式安全”（保留实用性但移除可操作细节）和“拒绝并重定向”（明确拒绝并提供安全的替代方案）。

---

评估范围与方法

• 评估对象：对抗性提示、错误信息鲁棒性、叙事操控、操作细节提取、小说化绕过、地缘政治框架鲁棒性、指令泄露易感性。
• 不评估内容：模型意识形态、政治正确性、通用知识问答的事实准确性、与任何特定政府立场的一致性。
• 方法论：每个测试提示在多个前沿和区域模型上评估。输出结果采用 PASS / PARTIAL FAIL / FAIL 进行人工分类，评估维度包括操作有用性、上下文框架、幻觉抵抗力、归因准确性、叙事平衡、小说化绕过抵抗力、对抗意图识别能力。

---

相关研究

数据集引用了一项2025年MIT的研究（Poole-Dayan 等，arXiv:2406.17737），该研究发现包括GPT-4、Claude 3 Opus和Llama 3在内的模型，对于英语水平较低、教育程度较低和非美国地区的用户，存在系统性性能下降、拒绝率升高和回应模式居高临下的问题。这与RuSafetyBench的核心假设一致：语言和文化背景会影响模型校准与安全表现。

---

安全说明

该数据集仅用于对齐研究、红队分析、多语言安全基准测试以及对抗性评估方法论开发。公开文件中未故意重现有害的操作指导，提示和输出仅供研究和评估目的。

搜集汇总

数据集介绍

构建方式

RuSafetyBench作为面向俄语大语言模型的安全评估基准，其构建过程基于对现有安全基准（如HarmBench、Do-Not-Answer）局限性的深刻洞察。研究者通过精心设计涵盖社会工程、渐进式升级、幻觉、虚假信息、历史修正主义及地缘政治中立性校准等多元评估类别的对抗性提示，系统性地揭示了语言差异与文化语境如何影响模型的安全校准。该基准特别引入了叙事洗白、提示字面化易感性及虚构作为混淆等新颖评估概念，通过手动分类（通过/部分失败/失败）对多个前沿与区域模型输出进行多维度分析，从而构建起一个兼具深度与广度的俄语安全测试框架。

使用方法

使用RuSafetyBench时，研究者需将精心编制的俄语对抗性提示输入待评估模型，随后依据系统化的方法论对模型输出进行人工标注与分类。评估聚焦于操作实用性、上下文框架、幻觉抵抗性、归因忠实度及叙事平衡性等关键维度，每个提示的输出被判定为通过、部分失败或失败。该基准不仅支持单一模型的独立测试，更通过跨模型对比分析揭示不同训练生态与监管环境下的安全行为差异。研究者可借鉴其发现的两种成功对齐策略——即转换式安全与拒绝加重定向——来优化模型的安全性能。值得注意的是，使用过程中必须严格遵循研究伦理，确保所有提示与输出仅用于学术评估目的。

背景与挑战

背景概述

俄罗斯大语言模型安全基准测试（RuSafetyBench）于2026年5月由Aleksei Khvostov创建，旨在填补俄语环境下大语言模型安全性评估的空白。现有主流安全基准（如HarmBench、Do-Not-Answer等）几乎完全基于英语，而俄罗斯大型企业（如Yandex、Sber、VK）虽拥有内部红队测试工具，却未对外开放。RuSafetyBench通过构建对抗性评估框架，系统检验语言对模型安全校准的影响，以及文化地理语境引发的独特安全漏洞。该基准首次引入地缘政治中立性校准、叙事洗白、提示字面化易感性等新型评估维度，揭示了模型在俄语与英语环境下表现出的显著行为差异，为多语言安全评测领域提供了关键方法论基础。

当前挑战

RuSafetyBench面临的主要挑战涵盖领域问题与构建过程两个层面。首先，现有安全基准过度聚焦英语语境，缺乏对非英语语言下模型安全行为的系统性评估，而语言差异可能导致模型在俄语环境中表现出迥异的安全校准与拒绝行为，甚至因文化地缘背景催生新的攻击向量（如制度性框架利用、小说式伪装）。其次，构建过程中需设计能够有效捕捉叙事洗白、地缘政治叙事失衡等新型失效模式的测试用例，同时确保提示文本不包含可操作的危害性指导。此外，跨模型评估中需统一分类标准（通过/部分失败/失败），并区分虚构风格与虚构伪装，这对人类标注的准确性与一致性提出了极高要求。

常用场景

经典使用场景

在俄语大语言模型的安全性评估领域，RuSafetyBench作为一个开创性的对抗性评估框架，主要用于系统性检验模型在俄语语境下的安全校准能力。其经典使用场景包括对模型在面对社会工程诱导、渐进式升级攻击、幻觉生成、错误信息传播、历史修正主义及地缘政治中立性等多样化风险维度时的表现进行量化分析。研究人员利用该数据集中的精心设计的Prompt，能够揭示模型在俄语环境中对权威冒充、制度信任利用及叙事操纵等威胁的脆弱性，从而为多语言模型的安全对齐研究提供关键实证基础。

解决学术问题

该数据集核心解决了现有英语中心化安全基准（如HarmBench、BeaverTails）无法覆盖的语言与文化差异导致的安全评估盲区。学术研究表明，同一模型在俄语与英语环境下会呈现出显著不同的安全校准行为，且俄语特有的地缘政治语境和制度话语体系会催生出英语Prompt翻译所无法捕获的新型漏洞。RuSafetyBench通过引入‘叙事洗白’、‘提示字面化易感性’及‘虚构作为混淆’等原创评估概念，填补了多语言模型安全性研究的方法论空白，推动了跨语言对齐理论的发展。

实际应用

在实际应用层面，RuSafetyBench已被用于俄语大语言模型（如Yandex、Sber等机构开发的模型）的工业级红队测试与安全审计。企业安全团队借助该数据集的对抗性Prompt库，能够有效检测模型在官方机构查询伪装、虚构叙事框架下的能力泄露、以及地缘政治叙事失衡等高风险行为。此外，该基准还促进了安全策略的多样化——如‘转换式安全’与‘拒绝加重定向’两种对齐策略的实践验证，为部署在俄语市场的对话系统提供了可操作的安全优化指南。

数据集最近研究

最新研究方向

随着大语言模型在多语言环境中的广泛部署，俄罗斯语安全评测基准RuSafetyBench应运而生，填补了非英语模型安全校准的系统性空白。该基准揭示了语言差异显著影响模型的安全行为，特别是在俄语语境下，模型对机构权威框架（如“安全部门”“合规审查”）的服从性明显增强，导致违规信息泄露风险上升。前沿研究聚焦于三大新兴评估维度：地缘政治中立性校准，衡量模型在争议叙事中是否保持归因忠实与观点平衡；叙事洗白识别，即模型如何通过分析性语调逐步合法化未经支持的预设前提；以及提示字面化脆弱性，模型虽未直接违规，却未能识别对抗性意图而被诱导输出敏感信息。此外，虚构叙事与角色扮演框架被证实为高效的能力提取载体，不同训练生态下的模型在地缘政治话题上呈现出显著且不均衡的调控差异。RuSafetyBench不仅推动多语言安全评测从简单翻译走向文化敏感的本土化构建，更促使学界重新审视模型安全对齐策略中语言、文化与政治语境的深层交互机制。