Magma

arXiv2020-10-23 更新2024-08-06 收录

下载链接：

http://arxiv.org/abs/2009.01120v2

下载链接

链接失效反馈

官方服务：

资源简介：

Magma是一个真实模糊测试基准，通过在真实软件中引入实际漏洞，允许对模糊测试工具进行广泛目标的真实评估。通过这些漏洞的检测，Magma还能收集与模糊测试工具无关的以漏洞为中心的性能指标。

Magma is a real-world fuzzing benchmark. It enables comprehensive real-world evaluation of fuzzing tools by implanting actual vulnerabilities into real-world software. Furthermore, via the detection of these vulnerabilities, Magma can also collect vulnerability-centric performance metrics that are independent of fuzzing tools.

创建时间：

2020-09-02

搜集汇总

数据集介绍

构建方式

Magma 数据集的构建方式独具匠心，它通过将真实软件中的已知漏洞重新引入到最新版本的代码库中，并使用轻量级的检测器（canary）来记录漏洞的触发情况，从而为模糊测试工具提供了一个真实的评估环境。这种构建方式确保了漏洞的真实性和可验证性，同时也避免了由于软件版本更新而导致的评估偏差。

特点

Magma 数据集的特点在于其真实性和多样性。它包含了来自七个广泛使用的开源库和应用程序的 118 个真实漏洞，涵盖了多种漏洞类型和输入格式。此外，Magma 提供了三个基于漏洞的评估指标：漏洞触及率、漏洞触发率和漏洞检测率，这些指标能够更全面地评估模糊测试工具的性能。

使用方法

使用 Magma 数据集进行模糊测试工具评估时，需要将测试工具配置为在目标程序上执行，并收集触及、触发和检测到的漏洞数量。Magma 提供了运行时监控工具，可以实时收集漏洞触及和触发的数据，并支持通过重放崩溃输入来评估检测到的漏洞。评估者可以根据这些数据来分析测试工具的探索和检测能力，并与其他测试工具进行比较。

背景与挑战

背景概述

Magma数据集是一项旨在解决模糊测试评估难题的开创性工作，由Ahmad Hazimeh、Adrian Herrera和Mathias Payer于2020年10月23日发表在arXiv上。该数据集的核心研究问题是模糊测试工具的性能评估，特别是缺乏准确和统一的评估指标和基准。Magma的创建旨在提供一个真实的模糊测试基准，包含具有真实漏洞的软件，以实现模糊器的统一评估和比较。该数据集包含七个目标，这些目标执行各种输入操作和复杂计算，为最先进的模糊器带来了挑战。Magma的创建对软件安全领域产生了重要影响，为模糊测试性能评估提供了新的视角和方法。

当前挑战

Magma数据集面临的挑战主要包括：1)所解决的领域问题的挑战：模糊测试工具的性能评估；2)构建过程中所遇到的挑战：如何创建一个包含真实漏洞的软件基准，并提供易于访问的基准测试平台。为了解决这些挑战，Magma采用了将真实漏洞重新引入到真实软件中的方法，并开发了轻量级的哨兵机制来收集有关模糊器性能的指标。此外，Magma还提供了一种运行时监控工具，以收集有关模糊器进展的实时统计数据。这些创新的设计和实现方法为模糊测试性能评估提供了新的视角和方法，并为软件安全领域的发展做出了重要贡献。

常用场景

经典使用场景

Magma数据集被广泛应用于评估和比较模糊测试器的性能。通过在真实软件中引入真实漏洞，Magma允许对模糊测试器进行现实评估，从而更好地理解其探索和检测能力。此外，Magma还支持收集与模糊测试器无关的基于漏洞的性能指标，为模糊测试性能评估提供了新的视角。

衍生相关工作

Magma数据集的发布推动了模糊测试领域的相关研究。例如，一些研究人员使用Magma数据集来评估和比较不同的模糊测试技术，并开发新的性能指标。此外，Magma数据集还被用于研究模糊测试的探索和检测能力，以及如何提高模糊测试的效率。Magma数据集的发布为模糊测试研究提供了新的方向和思路。

数据集最近研究