EMBER2024
收藏资源简介：
EMBER2024是对EMBER2017和EMBER2018数据集的更新。它包括来自6种不同文件类型（Win32、Win64、.NET、APK、ELF和PDF）的320万个恶意和良性文件的原始特征和标签。EMBER2024旨在让研究人员探索各种常见的恶意软件分析分类任务。数据集包括7种类型的标签和标记，支持恶意/良性检测、恶意软件家族分类、恶意软件行为预测等。
EMBER2024 represents an update to the EMBER2017 and EMBER2018 datasets. It encompasses the original features and labels of 3.2 million malicious and benign files from six distinct file types (Win32, Win64, .NET, APK, ELF, and PDF). Designed to facilitate the exploration of various common malware analysis classification tasks, the dataset includes seven types of labels and annotations, supporting tasks such as malicious/benign detection, malware family classification, and malicious behavior prediction.
EMBER2024数据集概述
数据集简介
- EMBER2024是EMBER2017和EMBER2018数据集的更新版本
- 包含320万恶意和良性文件的原始特征和标签
- 覆盖6种文件类型：Win32、Win64、.NET、APK、ELF和PDF
- 提供7种标签类型，支持多种恶意软件分析分类任务
数据集内容
- 数据时间范围：2023年9月24日至2024年12月14日首次上传到VirusTotal的文件
- 训练集：2,626,000个文件（前52周）
- 测试集：606,000个文件（后12周）
文件统计
| 文件类型 | 每周数量 | 训练集总数 | 测试集总数 |
|---|---|---|---|
| Win32 | 30,000 | 1,560,000 | 360,000 |
| Win64 | 10,000 | 520,000 | 120,000 |
| .NET | 5,000 | 260,000 | 60,000 |
| APK | 4,000 | 208,000 | 48,000 |
| 1,000 | 52,000 | 12,000 | |
| ELF | 500 | 26,000 | 6,000 |
挑战集
- 包含6,315个恶意文件
- 这些文件最初未被约70种杀毒软件检测到
特征版本
- EMBER特征版本3（"thrember"）
- 使用pefile库替代LIEF
- 新增特征：DOS头、Rich头、PE数据目录、Authenticode签名等
- 支持非PE文件特征提取
数据下载
- 可通过HuggingFace下载
- 支持按文件类型和数据集划分下载
数据集大小
| 子集 | 总大小 |
|---|---|
| Win32训练集 | 23.7 GB |
| Win32测试集 | 4.9 GB |
| Win64训练集 | 12.9 GB |
| Win64测试集 | 2.5 GB |
| .NET训练集 | 1.8 GB |
| .NET测试集 | 425 MB |
| APK训练集 | 1.0 GB |
| APK测试集 | 234 MB |
| PDF训练集 | 197 MB |
| PDF测试集 | 46 MB |
| ELF训练集 | 100 MB |
| ELF测试集 | 24 MB |
| 挑战集 | 126 MB |
特征向量化
- 支持创建特征向量和标签的.dat文件
- 支持多种标签类型：家族、行为、文件属性等
引用
bibtex @inproceedings{joyce2025ember, title={EMBER2024 - A Benchmark Dataset for Holistic Evaluation of Malware Classifiers}, author={Robert J. Joyce and Gideon Miller and Phil Roth and Richard Zak and Elliott Zaresky-Williams and Hyrum Anderson and Edward Raff and James Holt}, year={2025}, booktitle={Proceedings of the 31st ACM SIGKDD Conference on Knowledge Discovery and Data Mining}, }
