AdvPatch-1K

AdvPatch-1K是一个对抗性补丁数据集，用于在物理世界环境中评估YOLOv5s对象检测模型的鲁棒性。通过将对抗性补丁附加到T恤表面，该数据集模拟了现实世界的逃避攻击场景，为研究人员提供了一个丰富的测试样本集合和一个基准测试环境。AdvPatch-1K is an adversarial patch dataset designed to evaluate the robustness of the YOLOv5s object detection model in physical-world scenarios. By attaching adversarial patches to T-shirt surfaces, this dataset simulates real-world evasion attack scenarios, providing researchers with a rich collection of test samples and a benchmark testing environment.

原始信息汇总

AdvPatch-1K: A Physical-world Adversarial T-shirt Dataset for Adversarial Robustness Evaluation

数据集描述

AdvPatch-1K 是一个用于评估YOLOv5s目标检测模型在物理世界环境中鲁棒性的对抗性补丁数据集。通过将对抗性补丁附加到T恤表面，该数据集模拟了现实世界的逃避攻击场景，为研究人员提供丰富的测试样本和基准测试环境。

对抗性补丁使用我们提出的DiffPatch方法生成，这是一种基于扩散的对抗性补丁生成方法，允许定制各种形状和风格的对抗性补丁（基于参考图像和掩码），平衡攻击性能和自然外观。

我们设计了9个对抗性补丁并将其打印在T恤上。招募了20名参与者（经过伦理批准）在多种室内外环境中（包括实验室、校园、食堂、地铁站和购物中心）拍摄图像。总共收集了1,131张图像到AdvPatch-1K数据集中，包括个人和团体（2到10+人）照片。数据集附有详细的人物和补丁位置标注（边界框）。该数据集为推进对抗性补丁攻击防御研究提供了宝贵的资源。

关键特性

• 创新方法：数据集通过将对抗性补丁应用于T恤表面，独特地结合了对抗性攻击与物理环境，成为测试目标检测模型在现实世界中抵抗逃避攻击的有效工具。
• 多样场景：包括多种拍摄条件、光照、背景、角度和运动状态。
• 现实背景：设计用于模拟动态穿着和不同的环境条件，提供对抗性攻击如何影响检测准确性的宝贵见解。

数据集内容

1. 图像数据

   • 包含穿着对抗性T恤的受试者图像。
   • 多种环境：室内（实验室、地铁站），室外（阳光、校园、购物中心）。
   • 包括个人和团体（2到10+人）照片，存储在不同文件夹中。

2. 标注文件

   • YOLO风格的目标检测标注格式。
   • 包含边界框坐标（包括人物和对抗性补丁）。人物标注对应标签文件夹，对抗性补丁标注对应adv_labels文件夹。

3. 文件结构

   AdvPatch-1K |--1_person |--images |--0001.jpg |--0002.jpg ... |--labels |--0001.txt |--0002.txt ... |--adv_labels |--0001.txt |--0002.txt ...
   |--2_persons ... ...

下载

下载AdvPatch-1K数据集

示例结果

1. AdvPatch-1K中的示例图像
2. 对抗性T恤
3. YOLOv5测试结果

引用

如果您在研究中使用此数据集，请按如下方式引用：

xxxxx xxxxx xxxxx

联系我们

如有任何问题或建议，请随时联系我们：

• 邮箱：[e-mail]
• GitHub Issues：通过Issues标签提交问题或建议

搜集汇总

数据集介绍

构建方式

AdvPatch-1K数据集通过将对抗性补丁应用于T恤表面，模拟真实世界中的逃避攻击场景，从而构建了一个用于评估YOLOv5s目标检测模型鲁棒性的物理世界对抗性数据集。该数据集的对抗性补丁采用DiffPatch方法生成，这是一种基于扩散的对抗性补丁生成方法，允许定制各种形状和风格的对抗性补丁，同时平衡攻击性能和自然外观。通过设计9种对抗性补丁并将其印刷在T恤上，招募20名参与者在多种室内外环境中拍摄图像，最终收集了1,131张图像，涵盖了从个人到多人（2至10人以上）的照片，并附有详细的人和补丁位置标注（边界框）。

特点

AdvPatch-1K数据集的独特之处在于其创新地将对抗性攻击与物理环境相结合，通过在T恤表面应用对抗性补丁，使其成为测试目标检测模型在真实世界中抵抗逃避攻击的有效工具。该数据集包含了多种拍摄条件、光照、背景、角度和运动状态，设计模拟了动态穿着和不同的环境条件，为研究对抗性攻击如何影响检测准确性提供了宝贵的见解。

使用方法

AdvPatch-1K数据集的使用方法包括下载图像数据和注释文件。图像数据包含穿着对抗性T恤的受试者照片，涵盖了室内和室外的多种环境，并按个人和多人照片分类存储。注释文件采用YOLO风格的对象检测格式，包含人和对抗性补丁的边界框坐标。数据集的文件结构清晰，便于研究人员进行数据处理和模型测试。通过使用该数据集，研究人员可以评估和提升目标检测模型在面对物理世界对抗性攻击时的鲁棒性。

背景与挑战

背景概述

AdvPatch-1K数据集是由复旦大学研究人员创建，旨在评估YOLOv5s对象检测模型在物理世界中的对抗鲁棒性。该数据集通过将对抗性补丁应用于T恤表面，模拟了现实世界中的逃避攻击场景，为研究人员提供了一个丰富的测试样本集合和基准测试环境。AdvPatch-1K数据集的核心研究问题是如何在物理环境中有效评估和提升对象检测模型的对抗鲁棒性。该数据集的创建不仅推动了对抗性攻击与防御研究的发展，还为相关领域的研究提供了宝贵的资源。

当前挑战

AdvPatch-1K数据集在构建过程中面临了多重挑战。首先，生成自然且有效的对抗性补丁是一个复杂的过程，需要平衡攻击性能与补丁的自然外观。其次，在多样化的室内外环境中捕捉图像，确保数据集的广泛适用性和真实性，也是一个重要的挑战。此外，数据集的标注工作，特别是对抗性补丁的标注，需要高精度的边界框标注，以确保评估的准确性。这些挑战共同构成了AdvPatch-1K数据集在推动对抗性鲁棒性研究中的重要课题。

常用场景

经典使用场景

AdvPatch-1K数据集的经典使用场景主要集中在对抗性攻击的评估与防御研究领域。通过将对抗性补丁应用于T恤表面，该数据集模拟了真实世界中的逃避攻击情景，为研究人员提供了一个丰富的测试样本集合和基准环境。具体而言，研究人员可以利用此数据集评估YOLOv5s目标检测模型在物理环境中的鲁棒性，通过分析不同光照、背景、角度和运动状态下的检测性能，深入探讨对抗性攻击对检测精度的影响。

解决学术问题

AdvPatch-1K数据集解决了对抗性攻击在物理环境中评估的学术难题。传统的对抗性攻击研究多集中在数字空间，而该数据集通过物理补丁的应用，填补了物理世界中对抗性攻击评估的空白。这不仅有助于提升目标检测模型的鲁棒性研究，还为开发更有效的防御机制提供了实证基础。通过模拟真实世界的复杂环境，该数据集为学术界提供了一个重要的工具，推动了对抗性攻击与防御领域的深入研究。

衍生相关工作

AdvPatch-1K数据集的发布催生了一系列相关研究工作。例如，基于该数据集，研究人员开发了多种新的对抗性攻击生成方法和防御策略，进一步提升了目标检测模型的鲁棒性。此外，该数据集还被广泛应用于各类学术论文和研究项目中，成为评估和比较不同防御机制性能的标准工具。通过这些衍生工作，AdvPatch-1K数据集不仅推动了对抗性攻击与防御领域的研究进展，还为学术界和工业界提供了宝贵的资源和参考。