malware-families-catalog

恶意软件家族目录是一个包含2,899个真实世界恶意软件家族的数据集，这些家族提取自EMBER 2018（Elastic恶意软件基准）数据集，并经过分类整理，旨在服务于安全团队、安全运营中心（SOC）分析师和事件响应人员。该数据集对恶意软件家族进行了系统化编目，每个家族对应一条记录。数据集总计包含2,899个家族，其中245个经过人工整理和分类，其余2,654个属于未分类的长尾家族。所有家族被划分为19个高级别类别，例如木马、银行木马、勒索软件、蠕虫、间谍软件、广告软件、后门、远程访问木马（RAT）、下载器、投放器、Rootkit、挖矿程序、信息窃取程序、潜在有害程序（PUA）、病毒、键盘记录器、僵尸程序、漏洞利用程序以及未知类别。每条记录包含以下字段：归一化的恶意软件家族名称（基于avclass标签）、在EMBER 2018数据集中拥有该标签的二进制样本数量、该家族所属的高级类别、对该家族的简要事实性描述以及标准化的事件响应指导建议。数据以Parquet格式提供（同时有JSONL镜像），适用于恶意软件分类、威胁情报分析、安全事件响应辅助以及网络安全研究等任务。数据集采用Apache-2.0许可证发布。The Malware Family Catalog is a dataset containing 2,899 real-world malware families extracted and curated from the EMBER 2018 (Elastic Malware Benchmark) dataset, intended to serve security teams, Security Operations Center (SOC) analysts, and incident responders. This dataset systematically catalogs malware families, with each entry corresponding to one family. In total, the dataset includes 2,899 families, of which 245 have been manually curated and classified, while the remaining 2,654 are unclassified long-tail families. All families are categorized into 19 high-level categories, such as Trojan, Trojan-Banker, Ransomware, Worm, Spyware, Adware, Backdoor, Remote Access Trojan (RAT), Downloader, Dropware, Rootkit, Cryptominer, Information Stealer, Potentially Unwanted Application (PUA), Virus, Keylogger, Bot, Exploit, and Unknown Category. Each entry contains the following fields: normalized malware family name (based on avclass labels), number of binary samples with this tag in the EMBER 2018 dataset, the high-level category the family belongs to, a concise factual description of the family, and standardized incident response guidance recommendations. The data is provided in Parquet format with a JSONL mirror available, and is applicable to tasks including malware classification, threat intelligence analysis, security incident response assistance, and cybersecurity research. The dataset is released under the Apache-2.0 license.

原始信息汇总

数据集概述

Malware Families Catalog 是一个包含 2,899 个真实世界恶意软件家族的数据集，基于 EMBER 2018 基准提取，专为安全团队、SOC 分析师和事件响应设计。

关键信息

• 总家族数: 2,899
• 已分类（精选）: 245
• 未分类（长尾）: 2,654
• 类别数量: 19
• 数据来源: EMBER 2018 v2 (Elastic Malware Benchmark)
• 许可证: Apache-2.0
• 数据格式: Parquet (同时提供 JSONL 镜像)，每个记录对应一个恶意软件家族
• 语言: 英语
• 任务类别: 文本分类、表格分类
• 标签: 恶意软件、网络安全、威胁情报、事件响应、SOC、EMBER、分类、安全
• 数据集大小: 1K < n < 10K

数据字段结构

每个记录包含以下字段：

字段	类型	描述
family	string	标准化的恶意软件家族名称（avclass 标签）
sample_count	int	EMBER 2018 中带有此标签的二进制样本数量
category	string	高级类别（共19个，见类别词汇表）
description	string	该家族的简短事实描述
cta	string	标准化的事件响应指导

类别词汇表

类别	定义
trojan	伪装成合法软件，执行后释放隐藏负载的恶意软件。包括没有更具体分类的通用特洛伊木马。
banker	拦截凭证、浏览器会话或交易数据，针对金融机构和加密货币钱包的银行木马。
ransomware	加密文件或锁屏，要求支付赎金以解密或恢复访问的恶意软件。
worm	无需用户操作即可通过网络或可移动媒体自我传播的恶意软件。
spyware	设计用于秘密收集系统或用户信息的软件，包括按键记录、屏幕截图和浏览历史。
adware	显示不想要的广告的软件，通常与其他软件捆绑，难以移除。
backdoor	绕过正常认证，为攻击者提供对受损系统持久控制的远程访问恶意软件。
rat	远程访问木马，具备广泛远程控制能力的后门，常用于定向攻击。
downloader	主要功能是从远程服务器获取并执行额外负载的轻量级恶意软件。
dropper	包含并安装次要负载的恶意软件，通常从自身提取而非下载。
rootkit	通过深度颠覆操作系统来隐藏自身及其他恶意组件的恶意软件。
miner	未经授权使用受害者 CPU 或 GPU 资源的加密货币挖矿恶意软件。
infostealer	专注于窃取凭证、cookies、自动填充数据和加密货币钱包的数据窃取恶意软件。
pua	可能不需要的应用程序，表现出侵入性行为但不严格属于恶意软件。
virus	附加到合法文件并在执行这些文件时传播的自我复制代码。
keylogger	主要功能是记录按键以捕获密码和其他敏感输入的恶意软件。
bot	将受感染机器连接到僵尸网络，用于 DDoS、垃圾邮件或其他协调攻击的软件。
exploit	利用软件特定漏洞获取未授权访问或执行的代码。
unknown	avclass 标签无法清晰映射到单一高级类别的长尾家族。

类别分布

类别	家族数量
unknown	2,654
trojan_generic	67
pua	29
rat	23
banking_trojan	18
adware	17
infostealer	13
file_infector	9
worm	9
pua_tool	6
packer	6
rogueware	6
spam_bot	5
ransomware	5
loader	4
downloader	4
click_fraud	4
worm_banker	3
browser_hijacker	3
cryptominer	3
generic_detection	2
ransomware_worm	1
ransomware_file_infector	1
ddos_bot	1
pos_malware	1
spyware	1
adware_botnet	1
trojan_tool	1
trojan	1
bootkit	1

样本数量前50的恶意软件家族（前10名展示）

排名	家族名	类别	样本数量
1	xtrat	rat	35,969
2	zbot	banking_trojan	24,075
3	ramnit	worm_banker	20,595
4	sality	file_infector	18,572
5	installmonster	pua	16,691
6	zusy	banking_trojan	14,120
7	emotet	loader	12,943
8	vtflooder	pua_tool	12,150
9	fareit	infostealer	10,955
10	adposhel	adware	8,951

快速开始（代码示例）

python from datasets import load_dataset ds = load_dataset("Jordan123234/malware-families-catalog") print(ds["train"][0])

{family: emotet, sample_count: 12058, category: banker, description: ..., cta: ...}

搜集汇总

数据集介绍

构建方式

该数据集源自EMBER 2018基准测试，通过提取其中标注的恶意软件家族标签，构建了一个包含2,899个真实世界威胁的全面目录。数据以Parquet格式存储，每条记录包含家族名称、样本数量、高维类别、描述及应急响应指南。其中245个家族经过精心分类，归入19个明确定义的高维类别，如银行木马、勒索软件、后门等，其余2,654个家族因标签映射模糊而被归为“未知”类别。

使用方法

使用该数据集极为便捷。用户可通过Hugging Face的`datasets`库直接加载，只需一行代码即可获取完整的Parquet数据。加载后，每条记录以字典形式呈现，包含家族、样本数、类别、描述和响应建议。此外，数据集在GitHub Pages、Kaggle等多个平台同步发布，用户可根据需求选择浏览器浏览、API调用或本地分析。推荐安全团队在威胁情报分析、恶意软件分类模型训练以及自动化应急响应流程中集成该数据集。

背景与挑战

背景概述

Malware Families Catalog 数据集由研究团队于2023年构建，源自Elastic公司发布的EMBER 2018基准测试集，旨在为网络安全团队提供系统化的恶意软件家族分类资源。该数据集整合了2,899个真实威胁家族，其中245个经过人工归类整理，涵盖银行木马、勒索软件、后门程序等19个大类，并附有家族描述与应急响应指南。通过将松散的安全情报信息转化为结构化知识库，该资源为安全运营中心（SOC）分析师和事件响应人员提供了高效的威胁识别与分类依据，对提升恶意软件分析自动化水平及威胁情报共享效率产生了显著影响。

当前挑战

该数据集面临的挑战主要体现在两个层面：在领域问题层面，传统恶意软件分类依赖静态规则或单一特征，难以应对变种繁多、行为隐匿的现代威胁，特别是长尾分布中2,654个未被归类的家族，其标签映射模糊，亟需更细粒度的语义解析与动态行为建模。在构建过程中，数据清洗与标注面临重大困难，原始EMBER数据仅提供avclass标签，需结合多方威胁情报进行人工核验，确保家族命名的规范化与分类一致性；同时，部分家族样本数量极少，导致有监督学习方法泛化能力受限，亟需引入半监督或增量学习策略以完善分类体系。

常用场景

经典使用场景

在网络安全研究的宏大叙事中，恶意软件家族分类始终是威胁情报分析的基石。Malware Families Catalog 数据集为研究人员提供了一个涵盖2,899个真实世界恶意软件家族的全面目录，其最经典的用途在于构建和评估基于文本或表格特征的恶意软件家族分类模型。通过利用数据集中包含的家族名称、样本数量、高层次类别归属（如木马、银行木马、勒索软件等）以及详尽的文字描述，研究者可以训练机器学习与深度学习模型，实现对新发现恶意样本的自动化家族归属识别。这一过程不仅简化了对海量恶意软件变种的归因分析，更为后续的威胁行为画像构建奠定了坚实基础。

解决学术问题

长久以来，网络安全学术研究领域面临着恶意软件变种数量激增与家族归因效率低下的双重挑战。Malware Families Catalog 数据集的出现，系统性地缓解了这一难题。它解决了学术研究中常见的两个核心问题：一是为大规模恶意软件分类研究提供了标准化的基准测试平台，使得不同模型在统一的家族粒度与分类体系下进行公平比较成为可能；二是有助于破解‘长尾家族’识别难题，数据集专门保留了2,654个未分类家族，激励研究者探索更具泛化能力的分类算法。其深远意义在于促进了从‘样本检测’到‘家族行为谱系理解’的研究范式转换，推动威胁情报从离散事件分析向系统性、结构化的对抗知识演进。

实际应用

在现实世界的网络安全防御体系中，Malware Families Catalog 数据集服务于多种实际场景，特别是在安全运营中心与应急响应团队中发挥着关键作用。当SOC分析师面对未知的可疑样本时，可以依托该数据集训练的分类器，快速将其关联至已知的家族（如Emotet、WannaCry、Trickbot），从而获得针对该家族的标准化应急响应指引。数据集中提供的call-to-action字段，直接为一线工程师提供了处置建议，极大缩短了从检测到响应的时间窗口。此外，该数据集还可集成至威胁情报平台，通过关联分析丰富已有IoC的上下文，帮助安全团队更精准地追踪高级持续性威胁的演变轨迹。

数据集最近研究

最新研究方向

当前，随着网络威胁态势的愈发复杂与多变，安全运营团队对恶意软件家族的精细化、结构化分类需求日益迫切。该数据集从EMBER 2018基准中提取了2,899个真实世界威胁样本，并对其中的245个家族进行了19个高维类别的深度标注，涵盖银行木马、勒索软件、远控木马等前沿攻击类型。这一工作不仅为安全分析师提供了快速识别与应急响应的标准化知识库，更推动了基于机器学习的恶意软件分类研究向更细粒度的家族级认知演进。尤其在WannaCry、Emotet等极具破坏性的热点事件持续冲击全球的背景下，该数据集的发布对于提升自动化威胁狩猎、攻击归因与态势感知能力具有里程碑式的实践意义。