shalanova/benchmark-1-chinese-m2m

该数据集是通过facebook/m2m100_418M模型翻译成中文的，来源于jayavibhav/prompt-injection-safety。主要包含prompt-injection和典型的jailbreak-style指令，具有相对同质的攻击模式。数据集大小为1,000个提示（500个安全/500个不安全）。包含的列有text（原始提示）、label（0表示安全，1表示不安全）、translation（由facebook/m2m100_418M翻译的中文提示）和score_zh_model（与codebook的余弦相似度分数）。更多信息可以参考提供的论文链接。The dataset is translated into Chinese by the facebook/m2m100_418M model and sourced from jayavibhav/prompt-injection-safety. It primarily contains prompt-injection and canonical jailbreak-style instructions with relatively homogeneous attack patterns. The dataset size is 1,000 prompts (500 safe / 500 unsafe). Columns include text (original prompt), label (0: safe, 1: unsafe), translation (prompt in Chinese translated by facebook/m2m100_418M), and score_zh_model (cosine similarity score with codebook). More information can be found in the provided paper link.

搜集汇总

数据集介绍

构建方式

本数据集基于开源数据集jayavibhav/prompt-injection-safety构建，原始数据涵盖提示注入与典型越狱指令等攻击模式，样本同质性较高。为适配中文场景，利用facebook/m2m100_418M模型将全部英文提示自动翻译为中文，形成双语对照结构。数据集包含1000条提示，其中安全与不安全样本各占500条，以平衡类别分布。每条数据保留原始文本、标签、中文译文及基于codebook嵌入计算的余弦相似度得分，确保多维度信息可供分析。

使用方法

数据集适用于中文大语言模型的安全性评估与对齐研究，可直接用于训练或测试模型对提示注入和越狱攻击的防御能力。用户可调用‘text’字段作为模型输入，以‘label’字段为标签进行监督学习；或利用‘translation’字段开展跨语言攻击迁移分析。‘score_zh_model’字段支持基于阈值的自动化筛选，辅助构建定制化安全测试集。研究论文中关于数据集的详细应用示例与实验配置可参考arXiv:2604.25716。

背景与挑战

背景概述

随着大语言模型在多语言环境中的广泛应用，针对提示注入和越狱攻击的安全评估成为自然语言处理领域的重要课题。基于此背景，`benchmark-1-chinese-m2m` 数据集由研究团队于近期创建，依托于 `jayavibhav/prompt-injection-safety` 数据集，利用 `facebook/m2m100_418M` 模型将其中的提示翻译为中文，旨在构建一个面向中文场景的提示注入安全基准。该数据集包含1000条提示，均衡涵盖安全与不安全两类标签，通过余弦相似度评分与编码本进行语义对齐，为评估中文大语言模型在对抗性输入下的鲁棒性提供了标准化测试资源，在相关论文（arXiv:2604.25716）中展示了其对多语言安全评估的推动作用。

当前挑战

该数据集主要应对以下挑战：在领域问题层面，提示注入和越狱攻击的语义多样性与隐蔽性日益增强，但现有安全基准多集中于英文环境，缺乏对中文场景下攻击模式与防御策略的系统性评估，导致中文大语言模型面临更高的安全风险。在构建过程中，挑战包括如何通过机器翻译保持原始攻击提示的语义完整性与攻击意图，避免因语言转化导致的误判或毒性稀释；同时，需确保正负样本的平衡性以支持公平评估，并利用余弦相似度分数验证翻译质量与类别一致性，以降低模型自动标注引入的偏差，从而构建可靠的多语言安全测试集。

常用场景

经典使用场景

该数据集为中文环境下的大语言模型安全对齐研究提供了关键测试基准。它包含500条安全与500条不安全指令，覆盖了提示注入与经典越狱攻击模式。研究者常利用该数据集评估模型对恶意输入的识别与拒答能力，通过对比模型在安全与不安全样本上的表现，分析其对有害指令的防御脆弱性。该数据集的核心价值在于标准化了中文安全测评流程，使不同模型间的结果可复现、可比较。

解决学术问题

在学术研究中，该数据集有效解决了中文大模型安全对齐评估缺乏统一基准的痛点。通过提供带标签的高质量中文攻击样本，它使得研究者能够量化模型在提示注入、越狱等场景下的安全缺陷。其意义在于推动了从定性分析到定量评估的范式转变，为后续安全微调（如RLHF）、对抗训练等技术提供了可依赖的评估标准，进而促进更鲁棒的防御机制设计。

实际应用

实际应用中，该数据集可作为大语言模型上线前的安全测试工具。企业安全团队可基于此数据集构建自动化检测流水线，评估聊天机器人、内容生成系统等产品对恶意提示的抵抗能力。通过分析模型误判的样本类型，开发者能定向优化安全策略，例如增强对伪装成正常指令的越狱攻击的识别能力，从而降低模型被滥用于生成有害内容的风险。

数据集最近研究

最新研究方向

针对大型语言模型的安全对齐挑战，该数据集聚焦于提示注入与越狱攻击的中文场景迁移与评估。研究前沿正从单纯检测英语环境下的恶意指令，转向探索跨语言攻击的泛化风险，尤其是通过机器翻译生成的中文攻击样本对模型鲁棒性的考验。近期热点事件如多语言模型部署后涌现的对抗性攻击案例，凸显了高资源语言防护措施在低资源语言中失效的问题。通过引入`facebook/m2m100_418M`模型将1,000条英文提示（含500条安全与500条不安全指令）转化为中文，并利用余弦相似度量化攻击嵌入分布，为多语言安全基准的构建提供了关键数据支撑。这项工作不仅揭示了翻译带来的语义漂移可能削弱现有防御机制，还推动了针对中文场景的检测器开发，对保障大模型在非英语地区的可信部署具有基础性意义。