RMCBench

RMCBench是由中山大学珠海校区和腾讯AI Lab联合创建的第一个用于评估大型语言模型（LLMs）抵抗恶意代码生成能力的基准数据集。该数据集包含473个提示，涵盖文本到代码和代码到代码两种场景，旨在测试LLMs在面对恶意代码生成时的拒绝率。数据集通过从GitHub收集恶意代码库，并利用ChatGPT-3.5生成自然语言描述，手动构建提示。RMCBench的应用领域主要集中在软件安全工程和大型语言模型的安全性评估，旨在解决LLMs在生成恶意代码方面的潜在风险。

RMCBench is the first benchmark dataset jointly developed by Sun Yat-sen University Zhuhai Campus and Tencent AI Lab for evaluating the ability of large language models (LLMs) to resist malicious code generation. This dataset includes 473 prompts spanning two scenarios: text-to-code and code-to-code, which are designed to measure the rejection rate of LLMs when processing requests for malicious code generation. The prompts are manually constructed by collecting malicious code repositories from GitHub and generating corresponding natural language descriptions via ChatGPT-3.5. The application fields of RMCBench primarily focus on software security engineering and safety evaluation of large language models, aiming to address the potential risks of LLMs generating malicious code.

搜集汇总

数据集介绍

构建方式

RMCBench的构建方式独具匠心，通过精心设计的473个提示，旨在评估大型语言模型（LLMs）抵抗恶意代码生成的能力。该基准包括两个主要场景：文本到代码（text-to-code）和代码到代码（code-to-code）。在文本到代码场景中，研究人员首先从GitHub上检索了392个与恶意代码和恶意软件相关的仓库，并利用ChatGPT-3.5的摘要能力获取这些恶意代码功能的自然语言描述。基于这些数据，手动构建了282个提示，分为三个难度级别，以测试LLMs在不同情境下的抵抗能力。在代码到代码场景中，利用从GitHub收集的恶意代码，构建了191个提示，要求LLMs完成或翻译现有的恶意代码。

特点

RMCBench的显著特点在于其全面性和针对性。首先，它是首个专门用于评估LLMs抵抗恶意代码生成能力的基准，填补了现有研究的空白。其次，该基准通过两种场景（文本到代码和代码到代码）和三个难度级别（Level 1、Level 2和Level 3），全面覆盖了LLMs在不同输入和任务类型下的表现。此外，RMCBench还考虑了恶意代码的类型和编程语言，确保评估的广泛性和深度。

使用方法

RMCBench的使用方法简便而高效。研究人员可以通过提供的提示，直接测试LLMs在生成恶意代码时的抵抗能力。具体步骤包括：首先，选择合适的提示集（文本到代码或代码到代码）；其次，将提示输入到LLMs中，观察其输出；最后，根据预定义的标签（GOOD、BAD、UNCLEAR）对输出进行分类，评估LLMs的表现。此外，RMCBench还提供了详细的实验结果和分析，帮助研究人员理解LLMs在抵抗恶意代码生成方面的优缺点，并为模型改进提供指导。

背景与挑战

背景概述

随着大型语言模型（LLMs）在软件开发活动中的广泛应用，其在提升效率的同时也带来了显著的风险，特别是生成有害内容和被恶意开发者滥用的可能性。尽管已有研究关注LLMs在生成违反人类伦理标准内容方面的能力，如偏见或冒犯性内容，但评估LLMs抵抗恶意代码生成能力的研究尚属空白。为此，中山大学和腾讯AI实验室的研究团队于2024年提出了RMCBench数据集，这是首个包含473个提示的基准，旨在评估LLMs抵抗恶意代码生成的能力。该数据集通过文本到代码和代码到代码两种场景，对11个代表性LLMs进行了实证研究，揭示了当前LLMs在抵抗恶意代码生成方面的局限性。

当前挑战

RMCBench数据集面临的挑战主要集中在两个方面：一是解决领域问题，即评估LLMs在生成恶意代码方面的抵抗能力；二是在构建过程中遇到的挑战，包括如何设计有效的提示以测试LLMs的抵抗能力，以及如何确保数据集的多样性和代表性。具体挑战包括：1) 设计能够有效触发LLMs生成恶意代码的提示；2) 确保数据集中的恶意代码样本具有广泛的代表性，涵盖多种编程语言和恶意代码类型；3) 评估LLMs在不同场景下的表现，特别是文本到代码和代码到代码两种场景的差异；4) 分析影响LLMs抵抗恶意代码生成能力的因素，如模型参数、模型类型、恶意代码类型和输入上下文长度等。

常用场景

经典使用场景

RMCBench 数据集的经典使用场景主要集中在评估大型语言模型（LLMs）对恶意代码生成的抵抗能力。该数据集通过两种场景进行评估：文本到代码（text-to-code）场景和代码到代码（code-to-code）场景。在文本到代码场景中，LLMs 被提示使用描述生成代码；在代码到代码场景中，LLMs 被要求翻译或完成现有的恶意代码。通过这些场景，研究者可以系统地评估 LLMs 在面对恶意代码生成时的表现，从而为提升模型的安全性和鲁棒性提供依据。

衍生相关工作

RMCBench 数据集的提出催生了一系列相关研究工作，特别是在 LLMs 的安全性和鲁棒性评估方面。例如，基于 RMCBench 的研究成果，学者们进一步探讨了如何通过改进训练数据和方法来提升 LLMs 对恶意代码的识别和抵抗能力。此外，RMCBench 还激发了对 LLMs 在不同编程语言和恶意代码类型下的表现进行深入分析的研究，推动了该领域的技术进步和应用拓展。

数据集最近研究

最新研究方向

在大型语言模型（LLMs）的快速发展背景下，RMCBench数据集聚焦于评估这些模型对恶意代码生成的抵抗能力。该数据集通过473个精心设计的提示，涵盖文本到代码和代码到代码两种场景，系统地测试了11个代表性LLMs的抵抗能力。研究发现，当前LLMs在抵抗恶意代码生成方面表现有限，平均拒绝率仅为28.71%。特别是在代码到代码场景中，LLMs的抵抗能力显著下降，平均拒绝率仅为11.52%。这一研究不仅填补了LLMs在抵抗恶意代码生成能力评估方面的空白，还为开发者提供了增强模型鲁棒性的重要见解，对于保障软件生态系统的安全具有深远意义。

相关研究论文

• RMCBench: Benchmarking Large Language Models' Resistance to Malicious Code

  中山大学珠海校区 · 2024年