threat-feeds

每日威胁情报数据源，包括新注册的域名、DNS区域元数据和区域传输（AXFR）检测。数据来源于ICANN CZDS区域文件（831个顶级域名）、证书透明度日志、被动DNS和社区威胁情报源。每天自动更新和推送。

This daily threat intelligence dataset includes newly registered domain names, DNS zone metadata, and zone transfer (AXFR) detections. The data is sourced from ICANN CZDS zone files (covering 831 top-level domains), certificate transparency logs, passive DNS, and community threat intelligence sources. It is automatically updated and pushed daily.

原始信息汇总

Threat Feeds 数据集概述

数据集简介

Threat Feeds 是一个每日更新的威胁情报数据源，专注于提供新注册域名、DNS区域元数据以及区域传输（AXFR）检测信息。数据源包括ICANN CZDS区域文件（831个TLD）、证书透明度日志、被动DNS和社区威胁情报源。

当前统计

• 数据库中的唯一域名：72,428,763
• 域名-NS映射关系：130,903,636
• 唯一域名服务器：733,357
• 已解析的TLD区域文件：831
• DNSSEC DS记录：2,315,823
• DNSSEC覆盖率：4.24%
• Glue记录：892,779
• 已测试的AXFR域名服务器：27,337
• 开放区域传输：513 (1.88%)
• CT日志域名（24小时）：1,845,477

数据馈送

NRD（新注册域名）

• nrd-today.txt：过去24小时内注册/发现的域名。
• nrd-week.txt：过去7天内的域名。
• czds-nrd.txt：通过对比CZDS区域文件发现的新域名（过去24小时）。
• ct-domains.txt：从证书透明度日志发现的域名（过去24小时）。
• nrd-full.txt：完整的主域名列表（所有来源，所有时间）。

格式：每行一个域名。以#开头的行是注释（标题、来源信息、总数）。

DNS区域情报

• zone-nameservers.csv：按服务域名数量排名的前1,000个域名服务器。
• zone-dnssec-stats.csv：每个TLD的DNSSEC采用情况——具有DS记录的域名与总数对比。
• zone-ns-providers.csv：DNS提供商市场份额（Cloudflare、GoDaddy、AWS、Google等）。

所有CSV文件均包含标题行。

AXFR区域传输检测

AXFR（区域传输）是一种DNS机制，用于从域名服务器复制整个区域文件。当配置错误时，它允许任何人下载域名的所有DNS记录，从而暴露子域名、内部主机名和基础设施详细信息。

• axfr-open.csv：每个AXFR开放的域名/域名服务器对，以及记录数。
• axfr-summary.txt：扫描统计信息——测试了多少域名服务器、开放率、主要违规者。

完整区域数据集（Parquet）

完整的区域元数据数据集每周以Parquet文件形式在GitHub Releases中发布。这些文件包含所有831个TLD的完整域名→域名服务器映射、DNSSEC记录和Glue记录。

• domain_ns.tar.gz：域名→域名服务器映射（按TLD进行Hive分区），大小约628 MB。
• domain_ds.tar.gz：DNSSEC DS记录（按TLD进行Hive分区），大小约100 MB。
• glue_records.tar.gz：Glue A/AAAA记录（按TLD进行Hive分区），大小约8 MB。
• nameservers.parquet：所有唯一的域名服务器主机名，大小约5 MB。
• axfr_results.parquet：完整的AXFR扫描结果，大小约400 KB。

Parquet文件使用ZSTD压缩，并按TLD进行Hive分区。

数据来源

• ICANN CZDS：提供831个gTLD的区域文件——NS、DS、glue记录。更新频率：每日（07:00 UTC）。
• 证书透明度日志：来自新颁发的TLS证书的域名。更新频率：实时（流式传输）。
• 被动DNS：在网络上观察到的DNS查询。更新频率：实时。
• CZDS区域差异：通过比较今天和昨天的区域文件获得的新域名。更新频率：每日。

文件格式参考

• .txt：纯文本。每行一个域名。#行是注释。
• .csv：CSV。逗号分隔，第一行是标题。
• .parquet：Apache Parquet。ZSTD压缩，按TLD进行Hive分区。在Releases中提供。

许可证

此数据按原样提供，用于安全研究和威胁情报目的。

搜集汇总

数据集介绍

构建方式

在网络安全情报领域，数据源的多样性与时效性至关重要。该数据集通过整合多个权威数据源构建而成，其核心数据来源于ICANN CZDS提供的831个顶级域名（TLD）的每日区域文件，这些文件包含了域名服务器（NS）、DNSSEC DS记录以及粘合记录等关键元数据。同时，数据集还实时纳入了来自证书透明度日志和被动DNS监测的新发现域名。构建过程采用了自动化流水线，每日通过对比前后两日的区域文件差异来识别新注册域名，并持续对大量域名服务器进行AXFR区域传输漏洞扫描，最终将多源数据聚合、清洗并结构化，形成涵盖数千万条记录的综合性威胁情报库。

特点

该数据集以其全面性和精细化的结构设计而著称。它不仅收录了超过7200万个独特域名及1.3亿条域名-域名服务器映射关系，还深度解析了831个顶级域名的区域文件，提供了包括DNSSEC部署统计、域名服务器提供商市场份额分析在内的多维度元数据。一个显著特点是其主动安全检测能力，通过对超过2.7万个域名服务器进行测试，识别并公开了存在开放区域传输配置的服务器列表，为暴露面管理提供了直接依据。数据集以多种格式发布，既包含便于即时使用的每日文本格式威胁情报订阅源，也提供了经过高效压缩和按顶级域名分区的Parquet格式完整数据集，兼顾了使用的便捷性与大规模分析的需求。

使用方法

该数据集为安全研究人员和威胁分析师提供了灵活多样的使用途径。对于日常威胁监控，用户可直接通过命令行工具下载每日更新的新注册域名列表，并利用简单的文本处理命令进行过滤、搜索或转换为适用于SIEM系统、防火墙或广告拦截软件的规则格式。对于深度数据分析，数据集每周发布的Parquet格式文件是理想选择，用户可借助DuckDB或Python等工具进行高效查询，例如统计各顶级域名的域名分布、追踪特定域名服务器的所有托管域名，或分析全局DNSSEC的部署情况。这种从轻量级订阅到重型离线分析的全链路支持，使得该数据集能够适应从实时威胁阻断到宏观安全态势研究的不同应用场景。

背景与挑战

背景概述

在网络安全领域，威胁情报的实时性与全面性对于防御新型攻击至关重要。Threat Feeds数据集由cryphorix团队构建，依托ICANN CZDS区域文件、证书透明度日志及被动DNS等多源数据，每日自动更新，专注于新注册域名检测、DNS区域元数据解析与区域传输漏洞发现。该数据集覆盖831个顶级域名，包含超过7200万个唯一域名及1.3亿条域名-名称服务器映射，为恶意域名识别、网络基础设施安全分析及威胁狩猎提供了高粒度数据支撑，显著提升了自动化威胁情报系统的覆盖范围与响应效率。

当前挑战

该数据集致力于解决网络威胁检测中恶意域名快速识别的核心挑战，包括通过多源数据融合应对域名生成算法带来的隐蔽性威胁，以及利用大规模DNS元数据揭示攻击基础设施的关联模式。在构建过程中，面临数据源异构性整合、每日TB级增量数据的实时处理与存储优化，以及区域传输漏洞检测中全球名称服务器扫描的规模与准确性平衡等工程难题。此外，维护数据一致性、确保隐私合规性并实现跨平台友好格式输出，亦是持续迭代中的关键挑战。

常用场景

经典使用场景

在网络安全与威胁情报领域，Threat Feeds数据集凭借其每日更新的海量域名与DNS元数据，为恶意域名检测与网络威胁狩猎提供了核心数据支撑。该数据集通过整合ICANN CZDS区域文件、证书透明度日志及被动DNS数据，能够实时捕捉新注册域名、异常DNS配置及开放的AXFR区域传输漏洞。研究人员与安全分析师可基于其提供的NRD列表与区域情报，系统性地识别钓鱼攻击、僵尸网络指挥控制服务器及域名生成算法活动，从而构建动态的威胁感知与防御体系。

衍生相关工作

基于Threat Feeds数据集衍生的经典工作主要集中在自动化威胁情报平台构建、大规模DNS图谱分析与机器学习驱动的异常检测模型开发。例如，研究人员利用其提供的域名-名称服务器映射关系，构建了全球DNS依赖网络图谱，以识别关键基础设施节点与单点故障风险；同时，结合新注册域名的时间序列特征与证书透明度日志，开发了基于深度学习的早期恶意域名预测算法。此外，该数据集还支撑了多项关于AXFR滥用规模化测量与DNSSEC部署影响评估的学术研究，为国际网络安全标准制定与最佳实践推广提供了数据驱动的决策依据。

数据集最近研究

最新研究方向

在网络安全领域，威胁情报的实时性与全面性正成为研究焦点。基于Threat Feeds数据集，前沿研究聚焦于利用其大规模域名注册数据与DNS元数据，结合机器学习和图神经网络技术，以自动化检测新型网络威胁。例如，通过分析新注册域名与证书透明度日志的关联模式，研究者能够更早识别钓鱼攻击与恶意软件分发活动。同时，针对AXFR区域传输漏洞的持续监测，为基础设施安全评估提供了实证基础，推动了主动防御策略的发展。这些研究不仅深化了对全球域名生态系统动态的理解，也为构建自适应威胁情报平台奠定了数据基石。