phishvision-zero-day-phishing-corpus

OpticParse 是一个边缘原生计算机视觉网页抓取与威胁情报引擎，该数据集包含从150个持续运行的提取管道中收集的结构化数据，这些管道全天候在边缘运行，无需任何CSS选择器。数据集包含四个子集：主数据集（master_150_templates_dataset.csv）为多区域目录，包含调度信息和类别；威胁情报数据集（threat_intel_dataset.csv）包含已验证的钓鱼套件IOC、品牌仿冒URL和加密货币盗取器；电商与零售数据集（opticparse_ecommerce_and_retail.csv）提供亚马逊、Shopify和暗店实时定价遥测；B2B与金融数据集（opticparse_b2b_and_finance.csv）包含高管招聘信号、YC创始人信息和SEC 10-K文件。数据集规模为10K到100K条记录，单语种英语，适用于特征提取、文本检索、零样本分类等任务，特别适用于文档检索、网络安全、电商定价、B2B销售线索等场景。OpticParse is an edge-native computer vision web scraping and threat intelligence engine. The dataset contains structured data collected from 150 continuously running extraction pipelines that operate 24/7 at the edge without any CSS selectors. The dataset consists of four subsets: the master dataset (master_150_templates_dataset.csv) is a multi-region catalog containing scheduling information and categories; the threat intelligence dataset (threat_intel_dataset.csv) contains verified phishing kit IOCs, brand impersonation URLs, and cryptocurrency stealers; the e-commerce and retail dataset (opticparse_ecommerce_and_retail.csv) provides real-time pricing telemetry from Amazon, Shopify, and dark stores; the B2B and finance dataset (opticparse_b2b_and_finance.csv) contains executive recruitment signals, YC founder information, and SEC 10-K filings. The dataset size ranges from 10K to 100K records, monolingual English, and is suitable for tasks such as feature extraction, text retrieval, zero-shot classification, especially for document retrieval, cybersecurity, e-commerce pricing, B2B sales leads, etc.

原始信息汇总

数据集概述

OpticParse 是一个包含150种模板的多行业智能语料库，由边缘原生计算机视觉网页抓取与威胁情报引擎生成。该语料库数据来自150条持续运行的提取管道，以零CSS选择器方式在边缘端全天候运行。

包含的数据文件

文件名	内容描述
master_150_templates_dataset.csv	完整的多区域目录，包含调度信息和类别
threat_intel_dataset.csv	已验证的网络钓鱼工具包IOC、品牌仿冒URL及加密货币盗取器
opticparse_ecommerce_and_retail.csv	来自Amazon、Shopify和暗店（dark-store）的实时定价遥测数据
opticparse_b2b_and_finance.csv	高管招聘信号、YC创始人和SEC 10-K申报数据流

数据集属性

• 语言：英语（单语）
• 许可证：CC0-1.0
• 数据规模：10K < n < 100K
• 标注方式：机器生成
• 任务类别：特征提取、文本检索、零样本分类

该数据集主要面向网络安全威胁情报、电子商务定价监控以及B2B金融数据挖掘等应用场景，支持多模态视觉与文本检索的联合分析。

搜集汇总

数据集介绍

构建方式

本数据集由OpticParse边缘计算平台持续运作的150条自动化提取管线所构建，这些管线以零CSS选择器的方式，全天候于网络边缘运行，广泛采集信息安全、电商零售及企业金融等多领域的数据。数据集内含CSV格式的结构化信息，涵盖经过验证的网络钓鱼套件IOC、品牌仿冒URL、加密资产盗取器等威胁情报，以及实时电商定价遥测和企业高管招聘信号等商业数据。通过结合机器生成与公开来源的注解，该语料库确保了内容的时效性与广泛覆盖性。

特点

该数据集的显著特色在于其多维度分类与实时性，不仅提供了主数据集以涵盖全面的多区域目录，还细分为威胁情报、电商零售及B2B金融等专门子集，满足了从网络安全监控到商业智能分析等多样化的应用场景。其数据源自边缘侧的持续流动更新，保证了信息的即时性与新鲜度。此外，数据集在网络威胁检测方面采用了零日识别方法，能够洞察新兴的钓鱼模式，而不依赖传统特征匹配，体现了高度的适应性与前瞻性。

使用方法

使用者可通过HuggingFace的datasets库便捷加载各子集CSV文件，并借助pandas等工具进行数据预处理与分析。针对实时数据的获取，OpticParse提供了python SDK，允许开发者以API调用方式，结合自然语言查询语句，从特定URL提取目标信息，实现了动态数据的按需集成。对于需要持续数据流的用户，商业订阅服务提供了一日快照、月度流式更新及高频网络钩子等选项，并通过加密稳定币实现链上结算，为大规模应用提供了坚实的数据支持。

背景与挑战

背景概述

该数据集由OpticParse团队于2024年创建，依托Bittensor子网18与Ocean Protocol等去中心化基础设施，旨在应对日益严峻的零日网络钓鱼攻击。其核心研究问题聚焦于通过计算机视觉与无CSS选择器的边缘原生抓取技术，实时捕获并结构化呈现网络钓鱼工具包、品牌仿冒URL及加密货币盗取器等威胁情报，形成覆盖电子商务、B2B及金融等多行业的150个持续运行模板。该语料库的独特价值在于将实时威胁情报与商业智能数据融合，为网络安全领域的零日检测提供高时效性的数据支撑，推动视觉AI在网络空间态势感知中的应用研究。

当前挑战

该数据集面临的领域挑战在于网络钓鱼攻击的零日特性——传统基于签名或规则的检测方法难以应对不断演变的混淆技术与短期存活的恶意域名，亟需动态、多模态的威胁情报源。在构建过程中，挑战尤为显著：一是边缘端需在无CSS选择器条件下高精度解析动态渲染的网页结构，处理电商平台的反爬机制与布局频繁变更；二是需从海量Web数据中实时区分真实商业内容与精心伪装的钓鱼页面，平衡数据吞吐量与误报率；三是多源异构数据的高效融合与合规性管理，包括跨区域隐私法规遵守及商业数据授权验证，确保语料库的可用性与法律正当性。

常用场景

经典使用场景

在网络安全与计算机视觉的交汇领域，PhishVision零日钓鱼语料库作为一项开拓性资源，为研究人员提供了涵盖150余种持续运行模板的结构化威胁情报数据。该语料库的核心应用聚焦于零日钓鱼攻击的检测与归因，研究者可借此开展基于视觉内容的钓鱼网站识别、品牌仿冒URL的语义分析以及加密钱包盗取工具的威胁建模等实验。其无CSS选择器依赖的特性，使得模型能够摆脱传统HTML结构束缚，转而学习网页的视觉与语义特征，为构建鲁棒性更强的自适应钓鱼检测系统奠定了数据基础。

实际应用

在现实世界的网络安全防护体系中，此数据集的价值在于赋能即时响应的威胁情报服务。安全运维团队可将其融入企业级邮件网关与Web代理，构建基于视觉AI的实时拦截机制，有效抵御利用品牌冒充实施的账号窃取攻击。电商与金融机构亦可借此识别仿冒购物站点与虚假金融页面，保护客户资产与品牌信誉。此外，该语料库支持与去中心化数据市场及激励型AI网络结合，催生按需订阅的威胁情报流，为全球范围内的托管安全服务商提供高价值、可实时更新的攻击指标，构筑起主动式、协同化的安全防线。

衍生相关工作

围绕PhishVision语料库，多项开创性研究与应用得以衍生。基于其丰富模板，学术界正探索将视觉Transformer与多模态大语言模型融合，构建可解释的钓鱼页面解析器，实现对混淆视觉元素的深度解码。工业界则着手开发边缘原生的实时检测代理，利用该数据集训练轻量化模型，部署于浏览器端或移动设备，实现用户侧的隐私保护式防护。更进一步，此语料库与Bittensor Subnet 18等分布式智能网络结合，激励全球节点贡献并验证新型钓鱼特征，促使数据集呈自增殖式演进，推动形成持续进化的集体网络免疫系统，深刻影响未来威胁情报的共享范式与自动化生成方法。