Securing Language Model-Based Code Generation: How Far Are We?

Zenodo2024-01-16 更新2026-04-07 收录

代码安全

语言模型安全评估

数据链接：

https://zenodo.org/doi/10.5281/zenodo.10520381 数据链接链接失效反馈

官方服务：

资源简介：

This is the replication of the paper "Securing Language Model-Based Code Generation: How Far Are We?"

创建时间：

2024-01-16

ibm/AttaQ

语言模型安全评估

对抗性测试

--- license: mit language: en multilinguality: monolingual source_datasets: extended|Anthropic/hh-rlhf task_categories: - text-generation - text2text-generation size_categories: - 1K<n<10K tags: - saf

Hugging Face2024-01-26 更新2150

SecReEvalBench

语言模型安全评估

对抗性攻击

SecReEvalBench是一个针对大型语言模型的安全韧性评估基准数据集，旨在评估模型在对抗性提示攻击下的安全性。数据集涵盖了七个安全领域和17种攻击技术，包括良性提示攻击和恶意提示攻击。数据集通过六种询问序列进行评估，包括一次性攻击、连续攻击、连续反向攻击、替代恶意攻击、顺序递增攻击（增加恶意程度）和顺序递减攻击（减少恶意程度）。数据集的创建旨在为大型语言模型的安全研究提供基础，并帮助识别和缓

arXiv2025-05-12 更新770

xstest-response

语言模型安全评估

内容审查

# Dataset Card for XSTest-Response ## Disclaimer: The data includes examples that might be disturbing, harmful or upsetting. It includes a range of harmful topics such as discriminatory language a

魔搭社区2026-05-28 更新310

CASTLE

代码安全

漏洞检测

CASTLE数据集是由网络安全专家手动创建的250个小型C语言程序，涵盖了25种不同的CWE（常见弱点）。每个CWE都有10个测试用例，其中6个是易受攻击的，4个不是。该数据集旨在评估不同工具在漏洞检测方面的能力，并为静态代码分析工具、形式验证方法和基于大型语言模型的方案提供一个标准化的比较基准。

arXiv2025-03-12 更新850

CodeLMSec Benchmark

代码安全

模型评估

CodeLMSec Benchmark是一个用于评估和比较代码语言模型生成易受攻击代码倾向性的数据集。该数据集由CISPA Helmholtz Center for Information Security创建，包含280个非安全提示，用于触发模型生成包含特定安全漏洞的代码。数据集的创建过程涉及使用先进的代码模型自动生成提示，并通过静态分析工具CodeQL验证生成的代码是否包含指定的安全弱点。该数

arXiv2023-10-23 更新480

Securing Language Model-Based Code Generation: How Far Are We?

资源简介：

相关数据集