Favicon Fingerprint Dataset

包含超过3,000个favicon哈希值的数据集，通过AI映射到已识别的产品，如网络设备、Web应用程序、安全设备等，用于基于favicon指纹的网络侦察、资产发现和OSINT。

This dataset contains over 3,000 favicon hashes, which are mapped via AI to identified products such as network equipment, web applications, security devices, and more. It is utilized for network reconnaissance, asset discovery, and OSINT based on favicon fingerprints.

原始信息汇总

Favicon 指纹数据集概述

核心用途：包含超过 3,000 个 favicon 哈希值，由人工智能映射到已识别的产品（网络设备、Web 应用程序、安全设备等）。可用于基于 favicon 指纹的网络侦察、资产发现和 OSINT。

工作原理：Web 服务器在可预测路径暴露 favicon。对 favicon 进行哈希处理（经过 base64 编码的图片的 MurmurHash）可生成与特定产品或固件版本绑定的稳定指纹。利用 Shodan 等搜索引擎索引这些哈希值，可通过单一查询发现给定产品的所有互联网暴露实例。

存储库文件：

文件	描述
favicons_table.md	数据集的可视化版本，包含内联的 favicon 缩略图
identified.csv	主数据集，包含哈希值、产品名称、描述、CPE、MD5、SHA256、pHash 和主要 favicon 路径
favicon_paths.txt	一些基于 Shodan 的常见探测 URL 路径
images/favicons/	3,300 个 favicon 图片，命名为 {hash}.png
images/blog/	额外支持的图片
pHash.md	关于感知哈希用于模糊 favicon 匹配的实验学习

数据集字段说明：

字段	描述
favicon_hash	base64 编码后 favicon 的 MurmurHash3 值（有符号32位整数）
name	产品名称
description	产品描述
cpe	CPE 2.3 标识符（如有）
md5	原始 favicon 字节的 MD5 值
sha256	原始 favicon 字节的 SHA-256 值
phash	感知哈希（用于模糊图片匹配）
phash_legacy	旧的感知哈希变体
top_path_1 / top_path_2	该 favicon 最常见的 URL 路径

路径缺失表示它来自内联数据链接。

Nuclei 模板分析：脚本 scripts/nuclei_extract.py 用于分析本地的 nuclei-templates 仓库，提取 favicon 哈希并进行交叉比对。

• 哈希来源：
  • 元数据字段：模板 info.metadata 中的 shodan-query 或 fofa-query。描述依次来自 info.classification.cpe、metadata.product 或模板名称。
  • DSL 匹配器：favicon-detect.yaml 模板中 http[].matchers[] 内的 mmh3(base64_py(body)) 表达式。描述来自匹配器的 name: 字段。
• 冲突处理：当哈希同时出现在元数据和 DSL 来源中时，元数据条目（包含 CPE 和更丰富的上下文）胜出。DSL 来源记录在 in_favicon_detect 标记中。
• 输出文件（写入 data/ 目录）：
  • data/known_favicons.json：哈希到描述的映射。
  • data/nuclei_comparison.csv：所有发现的哈希，带有 in_favicon_detect 标记，按模板路径排序。
  • data/nuclei_comparison.md：用于 GitHub 浏览的标记表格版本。

favicon 发现路径：favicon_paths.txt 中的路径分为三组：

• 清单/配置文件（如 browserconfig.xml，可先获取以发现非标准路径）
• Shodan 高比例路径（索引数据中最常见的路径）
• 常见静态/构建路径（如 /public/、/assets/、/static/）

搜集汇总

数据集介绍

构建方式

该数据集聚焦于网络设备与Web应用的图标指纹识别技术，通过采集超过3,000个网站图标的哈希值，利用MurmurHash算法对经过Base64编码的图标图像进行哈希计算，生成稳定的数字指纹。每个哈希值均与特定的产品、固件版本或厂商关联。数据集收录了哈希值对应的产品名称、描述、CPE标识符、MD5与SHA256摘要、感知哈希以及图标常见URL路径，并通过自动化脚本从社区模板库中交叉验证与补充。数据以结构化CSV文件和JSON格式存储，图标图像分别归档，便于后续分析与检索。

特点

该数据集拥有显著的技术深度与实用性，其核心在于以图标哈希为锚点，实现了对网络设备与应用软件的高精度识别。不仅涵盖传统的哈希映射，还引入了感知哈希，支持模糊匹配以应对图标微变。通过集成Shodan搜索查询模板与社区漏洞检测模板，数据集具备了实时映射互联网暴露资产的能力。此外，数据集中每个条目均附带CPE标准化标识，便于与现有漏洞数据库对接，有效支持网络侦察、资产发现及开源情报分析工作。

使用方法

使用者可借助数据集中的哈希值，结合Shodan搜索语法（如http.favicon.hash:999357577）快速定位全球范围内特定型号的摄像头、防火墙等设备。针对开发与安全分析场景，支持直接解析identified.csv中的结构化字段，或通过JSON文件导入到自定义工具链中。通过运行提供的nuclei_extract.py脚本，可自动从本地模板库中提取已知哈希，并与数据集交叉比对，识别尚未收录的图标指纹。图标图像文件以哈希命名存储，便于直接用于光学或感知哈希匹配等本地分析任务。

背景与挑战

背景概述

Favicon Fingerprint Dataset诞生于网络空间测绘与开源情报（OSINT）领域日臻成熟的背景下，由安全社区的研究者于近年创建。该数据集的核心研究问题在于利用网站favicon的哈希指纹实现网络设备、Web应用及安全设备的精准识别。通过将超过3000个favicon的MurmurHash与已知产品进行关联映射，数据集为网络侦察、资产发现提供了高效工具，其影响力延伸至渗透测试、威胁情报与攻击面管理实践。Shodan等搜索引擎已对其中部分哈希进行索引，使得单一查询即可枚举全球范围内特定产品的暴露实例，显著推动了互联网暴露面分析的技术边界。

当前挑战

Favicon Fingerprint Dataset面临的挑战首先体现在领域问题的复杂性：Web环境中的favicon可能被动态生成、缓存或压缩，导致哈希值不稳定，影响指纹匹配的可靠性；同时，大量设备使用默认favicon，使得同质化哈希难以区分细微的产品变体或固件版本。在构建过程中，数据集的挑战包括：从海量互联网扫描结果中手工验证哈希与产品的对应关系极为耗时，需依赖AI映射与跨数据库交叉引用；favicon获取路径的多样性（如manifest文件中的非标准位置）增加了爬取难度，且部分自签名或小型设备可能缺失favicon，造成数据覆盖盲区。

常用场景

经典使用场景

在网络安全与网络资产测绘领域，Favicon Fingerprint Dataset最经典的使用场景是资产识别与网络指纹分析。通过采集Web服务暴露的favicon图标并计算其MurmurHash值，研究人员能够将哈希值与特定产品（如网络摄像头、防火墙、Web应用等）精准关联，从而实现大规模互联网暴露资产的快速发现与分类。该数据集涵盖了超过3000种已识别的产品指纹，依托于Shodan等搜索引擎的索引能力，只需一条哈希查询即可在数百万主机中定位同类设备，极大地提升了网络侦察的效率与准确性。

解决学术问题

该数据集解决了网络资产识别中因设备型号多样、版本更新频繁而导致的指纹库构建困难与维护成本高昂的学术问题。传统基于端口或协议特征的方法在面对大量异构设备时常出现误报与漏报，而favicon因其固定路径与内容稳定性，成为一种高效且低误报率的识别特征。该研究推动了基于图标的被动指纹识别方法在OSINT和安全态势感知中的应用，为自动化资产发现、脆弱性暴露面分析以及物联网设备安全评估提供了可靠的数据支撑，具有重要的理论价值与实践意义。

衍生相关工作

该数据集衍生了一系列经典工作，其中最引人注目的是与Nuclei扫描引擎的结合。通过`nuclei_extract.py`脚本，研究者能够从Nuclei模板库中自动提取已有favicon哈希，并与专用检测模板`favicon-detect.yaml`交叉验证，生成覆盖度报告，推动新哈希的持续补充。此外，基于感知哈希（pHash）的模糊匹配实验也衍生出若干图像相似度分析研究，为处理favicon变体（如颜色调整、尺寸变化）提供了新思路。这些工作共同构建了一个从数据采集、特征提取到自动化检测的完整技术栈。