Qor´gau

Qor´gau是一个专门为评估哈萨克语和俄语大型语言模型安全性而设计的 novel 数据集。该数据集由阿布扎比人工智能研究学院创建，包含针对哈萨克斯坦独特的双语环境定制的区域特定和文化相关提示，共有8169条问题，涵盖六个风险领域和17种危害类型。数据集的创建过程包括翻译和本地化、创建区域特定问题以及收集代码切换提示。该数据集旨在解决在哈萨克斯坦等双语地区对大型语言模型安全性的评估问题。

Qor´gau is a novel dataset specifically designed to evaluate the safety of large language models (LLMs) for Kazakh and Russian languages. It was developed by the Abu Dhabi Artificial Intelligence Research Institute. The dataset includes region-specific and culturally relevant prompts tailored to Kazakhstan's unique bilingual environment, with a total of 8169 questions covering six risk domains and 17 hazard categories. The dataset's construction process involves translation and localization, creation of region-specific questions, and collection of code-switching prompts. This dataset aims to address the challenge of evaluating LLM safety in bilingual regions such as Kazakhstan.

搜集汇总

数据集介绍

构建方式

Qor´gau数据集的构建方法是将中国的Do-Not-Answer数据集中的问题进行翻译和本地化，并创建了针对哈萨克斯坦和俄罗斯特定安全问题的区域特定提示，以及收集了混合哈萨克语和俄语的提示。这个数据集涵盖了六个风险领域（17种危害类型），确保了潜在危害的全面覆盖。

特点

Qor´gau数据集的特点是它是一个针对哈萨克斯坦和俄罗斯的双语环境设计的安全评估数据集，包括区域特定和文化相关的提示。这个数据集还包含了混合哈萨克语和俄语的提示，反映了哈萨克斯坦的双语环境。此外，数据集包含了三种类型的提示：直接攻击、间接攻击和过度敏感评估。

使用方法

Qor´gau数据集的使用方法包括收集12个LLM的响应，并进行两步安全评估。首先将响应分为安全和不安全，然后进一步分析模型如何响应问题。对于安全响应，将模型行为分为六种方式：拒绝回答、观点反驳、提供全面的声明、感知风险并提供免责声明、提供一般信息以及承认自我限制或不确定性。对于不安全响应，确定生成的特定有害内容类型。

背景与挑战

背景概述

在大型语言模型（LLM）迅猛发展的同时，其潜在的生成有害内容的风险也引起了广泛关注。现有的研究大多关注于英语或单语环境下的风险和安全评估，而忽略了多语环境下，尤其是双语地区的特定风险。Qor´gau数据集应运而生，旨在填补这一空白。该数据集由MBZUAI自然语言处理系的研究人员创建，专门用于评估在哈萨克语和俄语双语环境下LLM的安全性。数据集反映了哈萨克斯坦独特的双语环境，其中哈萨克语（低资源语言）和俄语（高资源语言）都被广泛使用。通过实验，研究人员发现不同语言和地区的LLM在安全性方面存在显著差异，这突出了针对特定地区和语言构建数据集的重要性，以确保LLM在各个国家的负责任和安全部署。

当前挑战

Qor´gau数据集在评估LLM安全性方面面临的主要挑战包括：1）解决领域问题的挑战：如何在多语环境下确保LLM的安全性，尤其是在像哈萨克斯坦这样的双语地区，用户在同一句话中可能交替使用两种语言。2）构建过程中的挑战：由于哈萨克语是低资源语言，因此需要特别关注其数据质量和覆盖范围。此外，构建一个能够反映地区和文化特定风险的数据集也是一个挑战。为了应对这些挑战，研究人员采用了多种方法，包括翻译和本地化现有数据集的问题，创建针对哈萨克斯坦和俄罗斯特定安全问题的提示，以及收集代码切换的提示，以模拟哈萨克斯坦双语环境中的自然交流方式。

常用场景

经典使用场景

Qor´gau数据集在评估大型语言模型（LLM）在哈萨克语和俄语双语环境中的安全性方面具有经典应用场景。该数据集包括地区特定的和文化相关的提示，允许研究人员评估LLM如何处理哈萨克斯坦的独特风险。此外，Qor´gau数据集还包含了代码混合提示，反映了哈萨克斯坦的双语环境，其中人们在同一句话中切换使用哈萨克语和俄语。这为评估LLM在多语言和代码混合场景中的安全性提供了重要资源。

解决学术问题

Qor´gau数据集解决了在多语言环境中评估LLM安全性的学术研究问题。该数据集强调了地区和语言特定的风险，这些风险在单语环境中往往被忽视。通过提供地区特定的和文化相关的提示，Qor´gau数据集填补了现有安全评估数据集的空白，并有助于确保LLM在哈萨克斯坦等地区以负责任和安全的部署。此外，Qor´gau数据集还通过代码混合提示的评估，突出了在多语言环境中评估LLM安全性的重要性。

衍生相关工作

Qor´gau数据集的发布衍生了许多相关的工作。例如，一些研究利用Qor´gau数据集评估了不同LLM在哈萨克语和俄语双语环境中的安全性，并发现了显著的安全性能差异。此外，一些研究还利用Qor´gau数据集分析了LLM在处理代码混合提示时的安全性，并发现了一些新的挑战和问题。此外，一些研究还利用Qor´gau数据集开发了新的安全评估工具和框架，以更好地评估LLM在多语言环境中的安全性。