Bad Spiders - Misbehaving Web-Crawlers Dataset
收藏官方服务：
资源简介：
Crawlers that went into the "Disallowed" parts of a website ignoring robots.txt
无视robots.txt（机器人排除协议文件），擅自进入网站"Disallowed（禁止访问）"区域的网络爬虫
创建时间：
2022-09-12
社区交流群
科研交流群
商业服务
Crawlers that went into the "Disallowed" parts of a website ignoring robots.txt
无视robots.txt（机器人排除协议文件），擅自进入网站"Disallowed（禁止访问）"区域的网络爬虫