subnet-22
收藏资源简介：
Desearch domains 数据集是 Desearch（Bittensor 子网 22）爬虫计划爬取的目标域名列表。该数据集通过合并六个公开域名排名（Tranco、Majestic Million、Open PageRank、BuiltWith Top 1M、Cisco Umbrella 流行度列表和 Cloudflare Radar Top 1M），并将每个条目解析为可注册域名（eTLD+1）后生成。数据集包含约数百万至千万个域名，字段仅含 `host`（小写、无协议和 www 前缀的可注册域名）。数据经过严格的过滤：移除非英语市场的国家代码顶级域名、成人/赌博/恶意软件/钓鱼/加密货币劫持/跟踪软件/warez/黑客/DDoS 等不良域名，以及银行门户、短链接、重定向、广告跟踪、动态DNS、DNS-over-HTTPS 解析器、住宅代理等基础设施域名；还移除了社交媒体、论坛、聊天、网页邮箱和文件托管等用户生成内容为主的站点，以及CDN、证书颁发机构、注册商等基础设施主机名。分类使用 UT1 黑名单和公共成人域名黑名单。每个通过初步过滤的域名还需经过两次额外检查：必须具有 DNS 地址记录，且不能重定向到其他可注册域名（否则被替换为目标域名）。最终入选的域名会被爬虫访问，但爬虫会读取并遵守 robots.txt，若禁止 DesearchBot 则不会抓取。爬虫身份为 DesearchBot，请求通过 Web Bot Auth 进行加密验证，请求速率不超过每秒一次，并根据 robots.txt 的 Crawl-delay 调整。该数据集适用于构建大规模英文网页语料库、搜索索引、内容分析等任务。许可基于所列公共来源，各自保留其条款。
The Desearch domains dataset is a list of target domains crawled by the Desearch (Bittensor subnet 22) crawler project. It is generated by merging six public domain rankings (Tranco, Majestic Million, Open PageRank, BuiltWith Top 1M, Cisco Umbrella popularity list, and Cloudflare Radar Top 1M) and parsing each entry into a registrable domain (eTLD+1). The dataset contains millions to tens of millions of domains, with a single field `host` (lowercase, protocol-free, and www-free registrable domain). Data undergoes strict filtering: removal of non-English market country-code top-level domains, adult/gambling/malware/phishing/cryptocurrency hijacking/spyware/warez/hacking/DDoS and other malicious domains, as well as infrastructure domains such as banking portals, short links, redirects, ad tracking, dynamic DNS, DNS-over-HTTPS resolvers, residential proxies; also removed are social media, forums, chat, webmail, file hosting and other user-generated content sites, as well as infrastructure hostnames like CDNs, certificate authorities, registrars. Classification uses UT1 blacklists and public adult domain blacklists. Each domain that passes initial filtering undergoes two additional checks: it must have a DNS address record and must not redirect to another registrable domain (otherwise replaced by the target domain). The final selected domains are visited by the crawler, which reads and respects robots.txt—if DesearchBot is disallowed, the domain will not be crawled. The crawler identity is DesearchBot, requests are authenticated via Web Bot Auth, the request rate does not exceed one per second and is adjusted according to robots.txt Crawl-delay. This dataset is suitable for building large-scale English web corpora, search indexes, content analysis, etc. Licensing is based on the listed public sources, each retaining its own terms.
Desearch domains 数据集
基本信息
- 数据集地址：https://huggingface.co/datasets/desearch/subnet-22
- 漂亮名称：Desearch domains
- 语言：英语（en）
- 许可证：other（license_name: derived-from-public-lists，源自上述公共来源，各来源保留其自身条款）
- 标签：web-crawl、domains、bittensor
- 数据规模：1M < n < 10M
数据集简介
该数据集包含 Desearch（Bittensor 子网 22）爬取范围内所涵盖的域名。Desearch 以 DesearchBot 标识自身，并使用 Web Bot Auth 对请求进行签名。
数据结构
- 文件：
domains/domains.parquet - 配置名称：domains
| 列名 | 类型 | 描述 |
|---|---|---|
host |
string | 可注册域名（eTLD+1），小写，不含协议头或 www. |
数据来源
数据为六个公开域名排名的并集，每个条目使用 Public Suffix List 解析为其可注册域名：
- Tranco
- Majestic Million
- Open PageRank
- BuiltWith Top 1M
- Cisco Umbrella Popularity List
- Cloudflare Radar Top 1M
过滤规则
从并集中移除以下内容：
- 英语市场以外的国家代码顶级域名（ccTLD）
- 成人、赌博、恶意软件、钓鱼、挖矿劫持、跟踪软件、盗版软件、黑客及 DDoS 域名
- 银行门户、URL 缩短器、重定向器、广告与追踪端点、动态 DNS、DNS-over-HTTPS 解析器及住宅代理
- 社交网络、论坛、聊天、网络邮件及文件托管（页面按用户生成而非公开发布）
- CDN、证书颁发机构、注册商及其他基础设施主机名
分类使用 Université Toulouse 1 Capitole 的 UT1 blacklists 以及公开的成人域名黑名单。
附加校验
每个留存域名还需通过以下两项额外检查：
- 必须可解析：没有地址记录的域名会被丢弃。排名基于历史流量构建，因此其中相当一部分已失效。
- 必须以自身名称提供服务：若域名重定向到另一个可注册域名，则丢弃该域名并保留其目标域名。
符合上述全部条件即表示域名被纳入，但这并不表示该域名已被爬取。robots.txt 在请求时会被读取并遵守，禁止 DesearchBot 令牌的域名永远不会被抓取。后续被证明无法访问、禁止 DesearchBot 或发布非英语内容的域名会在列表下次更新时被移除。
爬虫说明
- Desearch 以
DesearchBot标识自身，并使用 Web Bot Auth 对请求进行签名，运营方可对流量进行密码学验证。 - 对同一主机的请求频率不超过每秒一次，若
robots.txt指定了更长的Crawl-delay，则频率更低。 - 如需请求移除，参见 desearch.ai/crawler。
