rustmizan-org/mizan-vanilla

RustMizan（mizan在阿拉伯语中意为“尺度”或“平衡”）是一个可编译、无污染的Rust漏洞分析基准数据集，伴随我们提交给NeurIPS 2026 Evaluations & Datasets Track（正在评审中）。该数据集包含42个真实世界Rust内存安全CVE的173个独立的可编译变体，分为三个上下文级别（crate、file、function）。这是“vanilla”分割，未应用任何突变。数据集支持多种任务，包括漏洞检测（二元分类，基于is_vulnerable）、CWE分类（多标签，基于cwe_type）、函数级定位（预测文件→函数签名映射）和行级定位（预测文件→行号映射）。数据集还附带了一个突变框架和评估管道，可用于研究代码基准中的数据污染问题。

RustMizan (_mizan_ — Arabic for "scale" or "balance") is a compilable, contamination-aware benchmark for Rust vulnerability analysis, accompanying our submission to the **NeurIPS 2026 Evaluations & Datasets Track** (under review). This dataset contains 173 standalone compilable variants of 42 real-world Rust memory-safety CVEs, packaged at three levels of context (crate, file, function). It is the **vanilla** split — no mutations applied. The benchmark targets the full pipeline of Rust vulnerability analysis: 1. **Vulnerability detection** (binary classification, from `is_vulnerable`). 2. **CWE classification** (multi-label, from `cwe_type`). 3. **Function-level localization** — predict the file → function-signature map. 4. **Line-level localization** — predict the file → line-number map. The companion mutation framework and evaluation pipeline allow for research on data contamination in code benchmarks.

搜集汇总

数据集介绍

构建方式

RustMizan基准数据集（vanilla分割）聚焦于Rust语言内存安全漏洞分析，基于RustSec咨询数据库中的42个真实世界CVE，通过人工精炼与编译验证，构建了173个独立可编译的变体。每个变体涵盖crate、file和function三个上下文层级，分别对应漏洞修复前与修复后的代码状态。所有变体均经rustc 1.84.1编译确认，并依据CVE描述、GitHub讨论、提交信息及代码审查进行真值标注，且每项标注均由至少一位研究者交叉验证，确保了数据的基础可靠性与细粒度。

特点

该数据集以细粒度和多任务导向著称，每行样本包含sample_id、vuln_id、granularity、is_vulnerable、cwe_type、vulnerable_functions及vulnerable_lines等字段，支持二分类、多标签分类、函数级定位与行级定位四类任务。vanilla分割未施加任何变异，保持了原始漏洞形态，其与配套变异框架的结合使用，可有效规避数据集污染问题，成为研究代码基准污染与缓解策略的理想基板。

使用方法

用户可通过HuggingFace的datasets库直接加载数据集，调用`load_dataset("rustmizan-org/mizan-vanilla", split="train")`即可获取训练数据。配合匿名发布的变异框架与评估管线，研究者可基于vanilla数据自行生成良性、恶性及Rust特异性变异变体，实现灵活的实验设计。该数据集主要面向漏洞检测、CWE分类、函数及行级定位任务，亦为大型语言模型代码安全分析能力评估提供坚实基准。

背景与挑战

背景概述

RustMizan（mizan-vanilla）数据集诞生于大型语言模型在代码安全分析领域迅速发展的背景下，由匿名研究团队于2025年构建并提交至NeurIPS 2026评测与数据集轨道。该数据集专注于Rust语言内存安全漏洞分析，核心研究问题在于评估和提升LLM在漏洞检测、CWE分类及函数/行级定位方面的能力。通过精心构建173个可编译的变体，覆盖42个真实世界的Rust内存安全CVE，RustMizan为社区提供了一个污染感知的基准测试平台。它对相关领域的影响力体现在：推动了LLM在安全关键代码分析中的严格评估，并为数据污染防范策略的研究奠定了坚实基础。

当前挑战

RustMizan数据集所解决的领域问题核心挑战在于：现有漏洞检测基准多依赖固定样本集，易被LLM训练语料污染，导致评估结果虚高；同时，针对Rust语言的特点（如所有权系统、生命周期等内存管理机制），缺乏高质量、可编译且覆盖多粒度上下文的数据集。构建过程中的挑战包括：需从RustSec公告库中筛选并还原42个CVE的可编译变体，确保每个变体在crate、文件、函数三个粒度下均能通过编译器验证；标注工作需综合CVE描述、GitHub讨论和代码审查，并由至少两位研究员交叉审核以保证准确性；此外，还需设计完整的突变框架以生成良性、恶性及Rust专属变体，避免固定数据集被后续模型再次污染。

常用场景

经典使用场景

在软件安全与人工智能交叉领域，RustMizan（mizan-vanilla）数据集为Rust语言内存安全漏洞分析提供了标准化且可复现的基准。该数据集包含173个独立可编译的变体，涵盖42个真实世界的内存安全CVE漏洞，并按照crate、file和function三种粒度组织。其经典使用场景聚焦于端到端的漏洞分析流程，包括基于二分类的漏洞检测、基于多标签的CWE分类、函数级漏洞定位以及行级漏洞定位。研究者可将该数据集作为统一的评估基准，系统性地比较不同方法在Rust这种内存安全关键型语言上的表现，从而推动漏洞分析技术的严谨评估与可靠比较。

衍生相关工作

围绕RustMizan数据集已衍生出多项重要的相关工作与工具生态。该数据集附带的Python评估流水线可复现论文中的RQ1至RQ4实验结果，为后续研究提供了可直接参照的基准方法。其Rust变异框架支持生成良性、恶性及Rust特异性变异体，研究者可基于该框架构建更丰富的漏洞变体库，从而深入分析漏洞检测模型的鲁棒性与泛化能力。结合Kani验证器和RAPx工具链的演示工作，该数据集架起了机器学习方法与形式化验证之间的桥梁，推动了混合式安全分析范式的发展。通过这些衍生工具与结果，RustMizan不仅是一个静态基准，更成为一个可扩展的研究平台。

数据集最近研究

最新研究方向

RustMizan数据集聚焦于Rust语言内存安全漏洞的细粒度检测与定位，涵盖CWE分类、函数级与行级漏洞定位等前沿任务。其独特的可编译、抗污染基准设计，为研究LLM在代码安全分析中的数据污染问题提供了关键实验平台。该数据集基于173个真实世界CVE变体，支持多层级上下文分析，已提交至NeurIPS 2026评估与数据集轨道，对推动Rust生态安全评估、促进LLM评估的严谨性与可复现性具有重要里程碑意义。