hammurabis-code

Hammurabi's Code是一个用于评估大型语言模型在代码生成和软件工程任务中潜在有害性的数据集。它包含专门设计的提示，用于引出与潜在有害编码情景相关的响应，从而系统地评估模型的匹配度和安全性。数据集关注于LLM生成可能被恶意使用或无意中造成伤害的代码所相关的风险。

搜集汇总

数据集介绍

构建方式

Hammurabi's Code数据集通过精心设计的手工编写提示词构建，旨在系统评估大型语言模型在代码生成任务中的潜在危害性。研究团队围绕非法、不道德或危险的软件工程场景，设计了涵盖版权、恶意软件、不公平/危险用例等类别的提示模板，每个模板均标注了主类别和细分子类别，形成层次化的评估体系。数据构建过程强调场景的多样性和潜在危害的全面覆盖，为模型安全评估提供了结构化基准。

使用方法

研究人员可通过加载数据集的标准格式文件，将提示文本输入待评估的大型语言模型，系统分析其生成代码的伦理合规性。典型使用流程包括：解析提示的类别标签、记录模型响应、评估响应内容与预设安全标准的偏离程度。该数据集支持端到端的模型安全测试，既可用于单一模型的危害性评估，也可作为基准工具比较不同模型的安全防护性能。

背景与挑战

背景概述

Hammurabi's Code数据集由Ali Al-Kaswan等研究人员于2025年提出，旨在系统评估大型语言模型（LLMs）在代码生成任务中可能产生的危害性。该数据集由代尔夫特理工大学等机构联合开发，聚焦于LLMs生成恶意代码或存在伦理风险的软件工程场景。作为首个专门针对代码生成模型安全性的评估基准，它为研究社区提供了量化模型潜在危害的重要工具，推动了AI安全领域的发展。

当前挑战

该数据集面临双重挑战：在研究层面，如何准确界定代码生成模型的伦理边界，平衡创新与安全考量成为核心难题；在构建层面，设计既能有效暴露模型风险又不违反伦理准则的提示词需要精细权衡。数据收集过程中，研究人员需确保提示词涵盖各类潜在危害场景，同时避免生成实际可用的恶意代码，这对分类体系的完备性和提示设计的精确性提出了极高要求。

常用场景

经典使用场景

在人工智能安全领域，Hammurabi's Code数据集被广泛用于评估代码生成大语言模型（LLMs）在潜在有害场景下的行为表现。研究者通过该数据集精心设计的提示词，系统性地测试模型是否会产生涉及恶意软件编写、版权侵犯或偏见代码生成的响应，从而揭示模型在伦理和安全方面的潜在风险。

解决学术问题

该数据集有效解决了当前AI安全研究中缺乏标准化评估工具的难题，为量化分析代码生成模型的危害性提供了基准。通过明确分类的恶意代码生成场景，研究者能够准确识别模型输出中的安全隐患，推动了大语言模型对齐技术和安全防护机制的发展，填补了软件工程伦理评估的方法论空白。

实际应用

在工业实践中，科技公司利用该数据集对代码辅助工具进行安全审计，预防AI系统生成具有网络攻击、隐私侵犯等风险的代码片段。教育机构则将其纳入AI伦理课程，通过真实案例演示不当代码生成可能引发的法律和社会后果，培养开发者的责任意识。

数据集最近研究

最新研究方向

随着大语言模型在代码生成领域的广泛应用，其潜在伦理风险和安全问题日益凸显。Hammurabi's Code数据集的推出为评估代码生成模型的危害性提供了系统化工具，近期研究主要聚焦于三个方向：模型在恶意代码生成场景下的对齐能力评估、伦理边界量化分析框架构建，以及多模态安全防护机制设计。该数据集与GitHub Copilot等商业化产品的安全审计工作形成学术呼应，特别是在数字版权管理、偏见代码检测等细分领域催生了系列突破性研究。相关成果对完善AI伦理治理体系、制定行业安全标准具有重要参考价值，已成为ACM FAccT等顶级会议持续关注的热点议题。