Bad Spiders - Misbehaving Web-Crawlers Dataset
收藏kaggle2026-06-15 更新2024-03-07 收录
下载链接：
https://www.kaggle.com/datasets/movsisyanm/bad-spiders
下载链接
链接失效反馈官方服务：
资源简介：
Crawlers that went into the "Disallowed" parts of a website ignoring robots.txt
无视robots.txt（机器人排除协议文件），擅自进入网站"Disallowed（禁止访问）"区域的网络爬虫
创建时间：
2022-09-12
